3.8 O Teorema Central do Limite

Começaremos estudando qual poderia ser uma possível forma limite para o histograma da Figura 3.2.

Como uma primeira tentativa, suponha que $\sum_{i=1}^{\infty}Z_{i}$ possui uma certa distribuição $\mu$ (veremos posteriormente que isso somente pode acontecer em casos triviais). Mas se esse fosse o caso, poderíamos dividir a soma nos termos pares e ímpares $X=\sum_{i\text{ par}}Z_{i}$ e $Y=\sum_{i\text{ \'{\i}mpar}}Z_{i}$. Nesse caso teríamos $X$ e $Y$ independentes e também distribuídos como $\mu$ (pois são dados por uma soma que tem a mesma distribuição daquela que define $\mu$).

O seguinte lema mostra que isso somente pode acontecer na situação trivial em que $\mu=\delta_{0}$.

Sejam $X$ e $Y$ variáveis aleatórias em $\mathcal{L}^{2}$, \iidcom distribuição $\mu$. Nesse caso, se $X+Y$ também tem distribuição $\mu$, então $\mu=\delta_{0}$.

A intuição dessa prova é que quando somamos duas variáveis não determinísticas, a incerteza da soma (medida através da variância) tende a aumentar. Dessa forma não podemos obter a mesma distribuição após a soma.

Mas existe uma maneira simples de tornar esse problema interessante novamente. Digamos que $X$ e $Y$ pertencem a $\mathcal{L}^{2}$ e são i.i.d. Então

Então podemos nos perguntar se

Existe alguma distribuição não trivial $\mu$ em $\mathcal{L}^{2}$ tal que, se $X$ e $Y$ são independentes e distribuídas de acordo com $\mu$, temos

Pelo menos sabemos agora que a variância não se altera através dessa operação.

Ou em outras palavras, queremos saber se existe algum ponto fixo para o operador $\Gamma$ que toma uma distribuição $\mu$ em $\mathbb{R}$ e retorna

Para tentar responder a essa questão, vamos estudar mais a fundo qual é a distribuição da soma de duas variáveis aleatórias independentes. Para isso, considere a distribuição $(X,Y)\circ P$ do par, que coincide com $\mu\otimes\mu$, nos dando

Note também que a transformação linear $(x,y)\mapsto\tfrac{1}{\sqrt{2}}\big{(}x+y,x-y\big{)}$ é uma rotação rígida em $\mathbb{R}^{2}$, o que nos motiva a propor a pergunta mais simples.

Existe alguma distribuição não trivial $\mu$ em $\mathcal{L}^{2}$ tal que, se $X$ e $Y$ são independentes e distribuídas de acordo com $\mu$, a distribuição do par $(X,Y)$ é invariante por rotações?

Ainda estamos numa busca não rigorosa de tal distribuição, então vamos supor algumas outras propriedades, como por exemplo que $\mu$ seja absolutamente contínua com respeito a Lebesgue, isto é $\d{\mu}=f(x)\d{x}$. Nesse caso, já vimos que $(X,Y)\distr f(x)f(y)\d{x}\d{y}$ e no fundo estamos procurando uma função $f$ tal que

Para trasformar o produto $f(x)f(y)$ em uma soma, definimos $g=\log f$ e $k=\log h$ e o que gostaríamos que acontecesse é $g(x)+g(y)=k(x^{2}+y^{2})$. Como ainda não estamos preocupados com unicidade de $\mu$ e apenas com a existência, já podemos encontrar nossa resposta para nossa pergunta, escolhendo uma função quadrática, tal como $g(x)=\alpha x^{2}-\beta$.

Mas temos ainda que cuidar para que $f(x)=\ex{\alpha x^{2}-\beta}$ seja uma densidade, ou seja $\int f\d{x}=1$. Para isso, precisamos que $\alpha$ seja negativo e, fixado $\alpha$, o valor de $\beta$ já estará determinado por normalização. Tudo isso motiva finalmente a seguinte definição.

Dizemos que $X$ tem distibuição normal canônica, se

Além disso, para $m\in\mathbb{R}$ e $\sigma\geq 0$, dizemos que $Y\distr\mathcal{N}(m,\sigma^{2})$ se $Y$ tem a mesma distribuição de $\sigma X+m$, onde $X$ tem distribuição normal canônica $\mathcal{N}(0,1)$. Note que $\mathcal{N}(m,0)=\delta_{m}$. Muitas vezes chamamos essa distribuição de gaussiana, obviamente em homenagem a Gauss.

Vamos rapidamente observar que a definição acima realmente descreve uma distribuição de probabilidade, ou seja que a integral dessa densidade é um. Para tanto, vamos usar um truque conhecido, que consiste em retornar ao plano. Obviamente,

Donde a constante em (3.102) está de fato correta.

Mostre que a distribuição $\mathcal{N}(m,\sigma^{2})$, tem densidade

Mostre que $Y\distr\mathcal{N}(m,\sigma^{2})$ tem esperança $m$ e variância $\sigma^{2}$.

Para confirmar que de fato as distribuições normais se comportam bem com respeito a somas independentes, apresentamos o seguinte resultado.

Se $X\distr\mathcal{N}(m,\sigma^{2})$ e $Y\distr\mathcal{N}(\bar{m},\bar{\sigma}^{2})$ são independentes, então $X+Y$ tem distribuição $\mathcal{N}(m+\bar{m},\sigma^{2}+\bar{\sigma}^{2})$. Em particular, $\mu$ é um ponto fixo do operador $\Gamma$ definido em (3.99).

Podemos obter um corolário interessante sobre a soma de normais i.i.d. {corollary} Sejam $X_{1},X_{2},\dots$ variáveis \iidcom distribuição $\mathcal{N}(m,\sigma^{2})$, então

Como consequência

Lembrando da Lei dos Grandes Números, se dividimos a soma dos $X_{i}-E(X_{i})$ por $n$, essa fração vai a zero quase certamente. O que concluímos acima é que ao dividir por $\sqrt{n}$ obtemos um limite não trivial (nem zero, nem infinito) e aleatório (não determinístico).

Mais uma observação curiosa: nossa motivação para a definição da distribuição normal passou por invariância por rotações e podemos extender essa invariância para $n$ normais independentes. Note que somar as coordenadas canônicas é equivalente a tomar o produdo escalar com o vetor $(1,1,\dots,1)$, que tem norma euclideana $\sqrt{n}$.

Uma outra maneira de entender o corolário acima é que a normal é um ponto fixo da operação seguinte

1.  a)
   ​

   tome uma distribuição $\mu\in\mathcal{L}^{2}$,

2.  b)
   ​

   considere $X_{1},\dots,X_{n}$ \iidcom distribuição $\mu$ e

3.  c)
   ​

   retorne a distribuição de

   $$\frac{X_{1}+\dots+X_{n}-nE(X_{1})}{\sqrt{n}}.$$ (3.110)

Na Questão 3.8.1, nos perguntamos quais seriam os outros possíveis pontos fixos de $\Gamma$ e isso será considerado depois. Mas uma outra questão bastante importante é se o ponto fixo $\mathcal{N}(0,1)$ é atrator, ou seja se começando com outras distribuições poderíamos nos aproximar de $\mathcal{N}(0,1)$ à medida que iteramos $\Gamma$.

Isso é estudado no Teorema Central do Limite (TCL) que provaremos posteriormente. Mas antes, precisamos desenvolver uma boa definição de convergência para distribuições, ou em outras palavras definir uma topologia. Esse será o nosso próximo tópico.

Em muitos casos é importante termos bem definida uma noção de convergência de medidas de probabilidade. Supondo por exemplo no espaço mensurável $(E,\mathcal{A})$, tenhamos uma sequência de probabilidades $\mu_{n}$ e gostaríamos de saber se ela converge a uma determinada $\mu$.

Um candidato natural para dara sentido a essa convergência poderia se a distância de variação total entre duas medidas

Não é difícil mostrar que a definição acima induz uma métrica, mas ela possui alguns problemas que descreveremos a seguir.

Mostre que $d_{\VT}$ define uma métrica.

Sejam $\mu$ e $\nu$ absolutamente contínuas com respeito a uma medida fixa $\eta$, tendo densidades $\rho$ e $\pi$ respectivamente. Encontre uma fórmula para $d_{\VT}(\mu,\nu)$ em termos das densidades. Essa fórmula nos remete a qual distância entre funções?

Digamos que o espaço amostral $E$ já seja provido de uma métrica $d$ e $\mathcal{A}$ seja a $\sigma$-álgebra dos borelianos em $E$. Qualquer que seja a noção de convergência que iremos considerar, gostaríamos de dizer que $\delta_{x_{n}}$ converge a $\delta_{x}$ sempre que $x_{n}\to x$ em $E$. Esse porém não é o caso para $d_{\VT}$, pois se $x_{n}\neq x$ para todo $n$ e $\{x\}\in\mathcal{A}$, teríamos

Aqueles que já viram o conceito de convergência fraca acharão natural que a convergência de $\mu_{n}$ para $\mu$ seja definida em termos da convergência das integrais $\int f\d{\mu}_{n}$ para $\int f\d{\mu}$. Porém, como mencionamos no exemplo das medidas $\delta_{x_{n}}$ acima, gostaríamos também de a convergência respeitasse a topologia original do espaço $E$, o que torna natural o seguinte conceito.

Dizemos que uma sequência de medidas de probabilidade $\mu_{n}$ converge fracamente (ou converge em distribuição) para uma probabilidade $\mu$ se

Essa convergência muitas vezes é denotada por $\mu_{n}\Rightarrow\mu$.

Essa definição fica ainda mais natural para aqueles que conhecem o Teorema da Representação de Riesz. Com isso em mente, podemos relacionar a convergência em distribuição com a convergência fraca-$\star$ no espaço de medidas finitas.

Mostre que em $(\mathbb{R},\mathcal{B}(\mathbb{R}))$, temos que $\tfrac{1}{n}\sum_{i=1}^{n}\delta_{i/n}\Rightarrow U_{[0,1]}$.

Considere a função $\phi$ do espaço de medidas em $([0,1],\mathcal{B}([0,1]))$ nele mesmo, dada por:

Identifique o limite em distribuição de $\phi^{(n)}(\delta_{0})$. Mostre que

1.  a)
   ​

   a função de distribuição acumulada associada ao limite é contínua,

2.  b)
   ​

   o limite não é absolutamente contínuo com respeito à medida de Lebesgue.

Sejam $X_{1},X_{2},\dots$ i.i.d. distribuidas como $\text{Exp}(1)$ e defina

Mostre que $M_{n}-\log(n)$ converge fracamente e identifique o limite. Observe que não precisamos dividir $M_{n}-\log(n)$ por nada para obter a convergência.

Nós algumas vezes denotamos $X_{n}\Rightarrow X$ quando $X_{n}$ e $X$ são elementos aleatórios de $(\Omega,\mathcal{F},P)$ para descrever a convergência fraca de suas respectivas distribuições. Mais precisamente, $X_{n}\circ P\Rightarrow X\circ P$.

No caso especial em que $E=\mathbb{R}$, temos vários outras maneiras de caracterizar convergência em distribuição. A primeira é dada pela seguinte

Se $\int g\d{\mu}_{n}$ converge para $\int g\d{\mu}$ para toda $g\in C^{3}$ limitada e com as três primeiras derivadas limitadas, então $\mu_{n}\Rightarrow\mu$.

[Teorema Central do Limite] Considere em $(\Omega,\mathcal{F},P)$, uma sequência $X_{1},X_{2},\dots$ de variáveis aleatórias \iidem $\mathcal{L}^{3}$. Nesse caso, se definimos $m=E(X_{1})$ e $\sigma^{2}=\Var(X_{1})$, temos

A $\mathcal{N}(0,1)$ é a única distribuição $\mu$ que possui esperança zero, variância $1$ e é tal que se $X,Y$ são \iidcom distribuição $\mu$, então $(X+Y)/\sqrt{2}$ também possuem distribuição $\mu$. Em outras palavras, $\mathcal{N}(0,\sigma^{2})$, para $\sigma\geq 0$, são os únicos pontos fixos de $\Gamma$ em $\mathcal{L}^{3}$.

Vamos terminar essa seção com uma aplicação do teorema acima.

Digamos que jogamos $100$ moedas honestas e independentes, como foi proposto no início da seção, obtendo finalmente uma variável aleatória $Y\distr\Bin(100,1/2)$. Usando o O TCL para uma sequência i.i.d., estime $P[Y\geq 55]$ usando uma aproximação por uma $\mathcal{N}(0,1)$. Calcule numericamente o valor real desta probabilidade e compare ambas as estimativas.

Tópico: Mecânica estatística do gás idealMostrar a equivalência de ensembles.

Tópico: Funções características???funcoes caracteristicas e tomografia…