3.4 Lei forte dos grandes números

{theorem}

[Lei Forte dos Grandes Números] Sejam $X_{1},X_{2},\dots$ \iidem $\mathcal{L}^{1}$ , com $m=E(X_{1})$ . Então,

\lim_{n\to\infty}\frac{1}{n}\sum_{i=1}^{n}X_{n}=m,\text{ $P$-quase certamente.}

(3.47)

Antes de começar a prova, buscando inspiração no Teorema das Três Séries, mostraremos que basta considerar versões truncadas das variáveis $X_{i}$ . Isso é feito no próximo

{lemma}

Sejam $Y_{i}=X_{i}\1_{[|X_{i}|\leq i]}$ . Então, para demonstrar o Teorema 3.4, basta provar que

\lim_{n\to\infty}\frac{1}{n}\sum_{i=1}^{n}Y_{i}=m,\text{ $P$-quase certamente.}

(3.48)

Prova do Lema 3.4.

Consideramos os eventos $A_{i}=[X_{i}\neq Y_{i}]$ . Obviamente,

\sum_{i}P(A_{i})=\sum_{i}P[|X_{i}|\geq i]\leq\int_{0}^{\infty}P[|X_{i}|\geq t]% \d{t}=E\big{(}|X_{i}|)<\infty.

(3.49)

Logo, pelo Lema de Borel-Cantelli, temos que $P$ -quase certamente $A_{i}$ acontece apenas finitas vezes. Digamos que $A_{i}$ não acontece para $i>N(\omega)$ . Dessa forma, para qualquer $n\geq 1$ ,

\Big{|}\frac{1}{n}\sum_{i=1}^{n}(X_{i}-Y_{i})\Big{|}\leq\frac{1}{n}\sum_{i=1}^% {n}|X_{i}-Y_{i}|\leq\frac{1}{n}\sum_{i\leq N(\omega)}|X_{i}|,

(3.50)

que converge para zero $P$ -quase certamente, mostrando o resultado. ∎

O próximo passo para a prova da Lei Forte dos Grandes Números é cuidar da esperança das novas variáveis $Y_{i}$ . {lemma} Sejam $Z_{i}=Y_{i}-E(Y_{i})$ , para $i\geq 1$ como acima. Então, para demosntrar o Teorema 3.4, basta mostrar que

\lim_{n\to\infty}\frac{1}{n}\sum_{i=1}^{n}Z_{i}=0,\text{ $P$-quase certamente.}

(3.51)

Demonstração.

Supondo a convergência em (3.51), sabemos que

\lim_{n\to\infty}\frac{1}{n}\sum_{i=1}^{n}Y_{i}-E(Y_{i})=0,\text{ $P$-quase % certamente.}

(3.52)

Mas $E(Y_{i})=E(X_{i}\1_{[|X_{i}|\leq i]})$ que converge a $E(X_{i})=m$ , pelo Teorema da Convergência Dominada, donde concluímos que

\lim_{n\to\infty}\frac{1}{n}\sum_{i=1}^{n}E(Y_{i})=m.

(3.53)

Dessa forma, obtemos que $\tfrac{1}{n}\sum_{i=1}^{n}Y_{i}$ converge quase certamente a $m$ , donde concluímos a prova do Teorema 3.4 por meio do Lema 3.4. ∎

Gostaríamos de utilizar os teoremas das séries para mostrar a convergência de $\tfrac{1}{n}\sum_{n}Z_{n}$ , mas obviamente, o fator $\tfrac{1}{n}$ que precede a soma nos impede de fazê-lo. O próximo resultado é um simples exercício de análise real, que nos permite reduzir a prova de (3.51) para uma simples convergência de uma série sem pré-fatores.

{lemma}

[Lema de Kronecker] Suponha que $x_{n}\in\mathbb{R}$ e $b_{n}>0$ sejam tais que $b_{n}\uparrow\infty$ e $\sum_{i=1}^{\infty}\frac{x_{i}}{b_{i}}$ convirja a $s\in\mathbb{R}$ . Então

\lim_{n\to\infty}\frac{1}{b_{n}}\sum_{i=1}^{n}x_{i}=0.

(3.54)

Demonstração.

Definindo $s_{0}=0$ e $s_{n}=\tfrac{x_{1}}{b_{1}}+\dots+\tfrac{x_{n}}{b_{n}}$ , temos, por integração por partes,

\sum_{i=1}^{n}x_{i}=\sum_{i=1}^{n}b_{i}\frac{x_{i}}{b_{i}}=\sum_{i=1}^{n}b_{i}% s_{i}-\sum_{i=1}^{n}b_{i}s_{i-1}=b_{n}s_{n}+\sum_{i=1}^{n-1}(b_{i}-b_{i+1})s_{% i}.

(3.55)

Escolhemos agora, para qualquer $\varepsilon>0$ , um $n_{0}\geq 1$ tal que $|s_{n}-s|<\varepsilon$ para todo $n\geq n_{0}$ . Dessa forma,

\begin{split}\frac{1}{b_{n}}\sum_{i=1}^{n}x_{i}&=s_{n}-\frac{1}{b_{n}}\sum_{i=% 1}^{n-1}(b_{i+1}-b_{i})s_{i}\\ &=s_{n}-\frac{1}{b_{n}}\underbrace{\sum_{i=1}^{n_{0}-1}(b_{i+1}-b_{i})}_{% \Delta_{n_{0}}}s_{i}-\frac{1}{b_{n}}\sum_{i=n_{0}}^{n-1}(b_{i+1}-b_{i})s_{i}\\ &=\underbrace{s_{n}}_{\to s}-\underbrace{\frac{1}{b_{n}}\Delta_{n_{0}}}_{\to 0% }-\underbrace{\frac{1}{b_{n}}\sum_{i=n_{0}}^{n-1}(b_{i+1}-b_{i})s}_{=\tfrac{(b% _{n}-b_{n_{0}})s}{b_{n}}\to s}-\underbrace{\frac{1}{b_{n}}\sum_{i=n_{0}}^{n-1}% (b_{i+1}-b_{i})(s_{i}-s)}_{\leq\varepsilon\tfrac{(b_{n}-b_{n_{0}})}{b_{n}}\leq% \varepsilon},\end{split}

onde os limites indicados acima representam o que acontece quando $n\to\infty$ . A prova segue do fato de $\varepsilon$ ter sido escolhido arbitrariamente. ∎

Estamos agora em posição de finalizar a

Prova do Teorema 3.4.

De acordo com o Lema de Kronecker e o Lema 3.4, é suficiente mostrar que

\sum_{i=1}^{n}\frac{Z_{i}}{i},\text{ converge quase certamente}.

(3.56)

Por outro lado, como os $Z_{i}$ ’s tem média zero, o Teorema de Uma Série diz que é suficiente mostrar que

\sum_{i=1}^{n}\Var\Big{(}\frac{Z_{i}}{i}\Big{)}=\sum_{i=1}^{n}\frac{1}{i^{2}}% \Var(Z_{i})<\infty.

(3.57)

Isso segue da seguinte estimativa

\begin{split}\sum_{i=1}^{n}\frac{1}{i^{2}}\Var(Z_{i})&=\sum_{i=1}^{n}\frac{1}{% i^{2}}\Var(Y_{i})\leq\sum_{i=1}^{n}\frac{1}{i^{2}}E\big{(}X_{i}^{2}\1_{[|X_{i}% |\leq i]}\big{)}\\ &=\sum_{i=1}^{n}\frac{1}{i^{2}}\sum_{k=1}^{i}E\big{(}X_{i}^{2}\1_{[k-1<|X_{i}|% \leq k]}\big{)}\\ &=\sum_{k=1}^{n}E\big{(}X_{1}^{2}\1_{[k-1<|X_{i}|\leq k]}\big{)}\sum_{i=k}^{n}% \frac{1}{i^{2}}\\ &\leq 2\sum_{k=1}^{n}\frac{1}{k}E\big{(}X_{1}^{2}\1_{[k-1<|X_{i}|\leq k]}\big{% )}\\ &\leq 2\sum_{k=1}^{n}E\big{(}X_{1}\1_{[k-1<|X_{i}|\leq k]}\big{)}\leq 2E(X_{1}% )<\infty.\end{split}

(3.58)

Isso nos permite concluir a prova de (3.51) via o Lema de Kronecker. Consequentemente, obtemos o Teorema 3.4 via o Lema 3.4. ∎

{exercise}

Sejam $Y_{k}$ variáveis aleatórias independentes e com a seguinte distribuição:

P[Y_{k}=i]=\begin{cases}\frac{1}{2}-\frac{1}{k^{2}}\quad&\text{se $i=1$ or $i=% -1$},\\ \frac{2}{k^{2}}&\text{se $i=3$.}\end{cases}

(3.59)

Mostre que

P\Big{[}\frac{1}{n}\sum_{k=1}^{n}Y_{k}\text{ converge a zero}\Big{]}=1.

(3.60)

{exercise}

[Depende de Tópico: Urna de Pólya] Mostre que segundo a lei $P$ construida no Exercício 2, vale que

P\big{[}\tfrac{1}{n}\sum_{i-1}^{n}X_{i}\text{ converge}]=1.

(3.61)

Além disso calcule a distribuição do limite acima.

\todosec

Tópico: Teorema de Weierstrassprovar o teorema de Weierstrass de aproximação de funções contínuas por polinômios (prova probabilística). Ele é usado em convergência fraca em $\mathbb{R}$

\todosec

Tópico: Entropia de Shannonfazer…

\todosec

Tópico: Processos de renovaçãofazer…