9 Covariância

9.1 Definição

O que acontece com a variância quando adicionamos variáveis?

Exemplo 9.1.

Lance cinco moedas justas. Seja XX o número de "Cara"nos primeiros dois lançamentos de moedas, e YY o número de "Cara"nos últimos três lançamentos de moedas. Seja Z=X+YZ=X+Y o número total de "Cara"em todos os cinco lançamentos. Após cálculos (que omitimos), obtemos Var⁢(X)=12\mathrm{Var}(X)=\frac{1}{2}, Var⁢(Y)=34\mathrm{Var}(Y)=\frac{3}{4} e Var⁢(Z)=54\mathrm{Var}(Z)=\frac{5}{4}. Neste caso, a relação Var⁢(X+Y)=Var⁢(X+Y)\mathrm{Var}(X+Y)=\mathrm{Var}(X+Y) foi verificada. Isso é uma coincidência? Em quais condições essa relação é verificada?

Exemplo 9.2.

Suponha que X∼Bernoulli⁢(12)X\sim\mathrm{Bernoulli}(\frac{1}{2}) e seja Y=XY=X. Neste caso, temos Var⁢(X)=14\mathrm{Var}(X)=\frac{1}{4}, Var⁢(Y)=14\mathrm{Var}(Y)=\frac{1}{4}, Var⁢(X+Y)=1\mathrm{Var}(X+Y)=1, então Var⁢(X+Y)≠Var⁢(X+Y)\mathrm{Var}(X+Y)\neq\mathrm{Var}(X+Y).

Para entender melhor o que acontece com Var⁢(X+Y)\mathrm{Var}(X+Y), expandimos:

Var⁢(X+Y)\displaystyle\mathrm{Var}(X+Y) =𝔼⁢[((X−𝔼⁢[X])+(Y−𝔼⁢[Y]))2]\displaystyle=\mathbb{E}[((X-\mathbb{E}[X])+(Y-\mathbb{E}[Y]))^{2}] (9.3)
=Var⁢(X)+Var⁢(Y)+2⋅𝔼⁢[(X−𝔼⁢[X])⁢(Y−𝔼⁢[Y])].\displaystyle=\mathrm{Var}(X)+\mathrm{Var}(Y)+2\cdot\mathbb{E}[(X-\mathbb{E}[X% ])(Y-\mathbb{E}[Y])]. (9.4)
Definição 9.5 (Covariância).

Suponha que XX e YY são variáveis aleatórias discretas de variância quadrática integrável. Definimos a covariância de XX e YY como

Cov⁢(X,Y)=𝔼⁢[(X−𝔼⁢[X])⁢(Y−𝔼⁢[Y])].\mathrm{Cov}(X,Y)=\mathbb{E}[(X-\mathbb{E}[X])(Y-\mathbb{E}[Y])].

A partir dos cálculos anteriores, vemos que Var⁢(X+Y)=Var⁢(X)+Var⁢(Y)\mathrm{Var}(X+Y)=\mathrm{Var}(X)+\mathrm{Var}(Y) se e somente se Cov⁢(X,Y)=0\mathrm{Cov}(X,Y)=0. Quando essa condição é satisfeita, dizemos que XX e YY são não correlacionados.

9.2 Propriedades

Vejamos as principais propriedades da covariância. Trocando XX e YY, temos

Cov⁢(X,Y)=Cov⁢(Y,X)\mathrm{Cov}(X,Y)=\mathrm{Cov}(Y,X)

Substituindo XX no lugar de YY, obtemos

Cov⁢(X,X)=Var⁢(X)\mathrm{Cov}(X,X)=\mathrm{Var}(X)
Proposição 9.6.

Suponha que XX, YY e ZZ são variáveis aleatórias discretas de variância quadrática integrável. Então

Cov⁢(a⁢X+b⁢Y,Z)=a⁢Cov⁢(X,Z)+b⁢Cov⁢(Y,Z)\mathrm{Cov}(aX+bY,Z)=a\,\mathrm{Cov}(X,Z)+b\,\mathrm{Cov}(Y,Z)

para todo a,b∈ℝa,b\in\mathbb{R}.

Demonstração.

Basta expandir e agrupar:

Cov⁢(a⁢X+b⁢Y,Z)\displaystyle\mathrm{Cov}(aX+bY,Z) =𝔼⁢[((a⁢X+b⁢Y)−𝔼⁢[a⁢X+b⁢Y])⁢(Z−𝔼⁢[Z])]\displaystyle=\mathbb{E}[((aX+bY)-\mathbb{E}[aX+bY])(Z-\mathbb{E}[Z])] (9.7)
=𝔼⁢[(a⁢X−𝔼⁢[a⁢X]+b⁢Y−𝔼⁢[b⁢Y])⁢(Z−𝔼⁢[Z])]\displaystyle=\mathbb{E}[(aX-\mathbb{E}[aX]+bY-\mathbb{E}[bY])(Z-\mathbb{E}[Z])] (9.8)
=𝔼⁢[(a⁢X−𝔼⁢[a⁢X])⁢(Z−𝔼⁢[Z])+(b⁢Y−𝔼⁢[b⁢Y])⁢(Z−𝔼⁢[Z])]\displaystyle=\mathbb{E}[(aX-\mathbb{E}[aX])(Z-\mathbb{E}[Z])+(bY-\mathbb{E}[% bY])(Z-\mathbb{E}[Z])] (9.9)
=a⁢𝔼⁢[(X−𝔼⁢[X])⁢(Z−𝔼⁢[Z])]+b⁢𝔼⁢[(Y−𝔼⁢[Y])⁢(Z−𝔼⁢[Z])]\displaystyle=a\,\mathbb{E}[(X-\mathbb{E}[X])(Z-\mathbb{E}[Z])]+b\,\mathbb{E}[% (Y-\mathbb{E}[Y])(Z-\mathbb{E}[Z])] (9.10)
=a⁢Cov⁢(X,Z)+b⁢Cov⁢(Y,Z),\displaystyle=a\,\mathrm{Cov}(X,Z)+b\,\mathrm{Cov}(Y,Z), (9.11)

provando a identidade. ∎

Corolário 9.12.

Suponha que X1,…,Xn,Y1,…,YmX_{1},\dots,X_{n},Y_{1},\dots,Y_{m} são variáveis aleatórias discretas de variância quadrática integrável. Então

Cov⁢(∑j=1naj⁢Xj,∑k=1mbk⁢Yk)=∑j=1n∑k=1maj⁢bk⁢Cov⁢(Xj,Yk)\mathrm{Cov}\Big{(}\sum_{j=1}^{n}a_{j}X_{j}\,,\,\sum_{k=1}^{m}b_{k}Y_{k}\Big{)% }=\sum_{j=1}^{n}\sum_{k=1}^{m}a_{j}b_{k}\mathrm{Cov}(X_{j},Y_{k})

para todo a1,…,an,b1,…,bm∈ℝa_{1},\dots,a_{n},b_{1},\dots,b_{m}\in\mathbb{R}.

Demonstração.

Usando a proposição anterior repetidamente e a simetria,

Cov⁢(∑j=1naj⁢Xj,∑k=1mbj⁢Yj)\displaystyle\mathrm{Cov}\Big{(}\sum_{j=1}^{n}a_{j}X_{j}\,,\,\sum_{k=1}^{m}b_{% j}Y_{j}\Big{)} =∑j=1naj⁢Cov⁢(Xj,∑k=1mbj⁢Yj)\displaystyle=\sum_{j=1}^{n}a_{j}\mathrm{Cov}\Big{(}X_{j},\sum_{k=1}^{m}b_{j}Y% _{j}\Big{)} (9.13)
=∑j=1naj⁢Cov⁢(∑k=1mbj⁢Yj,Xj)\displaystyle=\sum_{j=1}^{n}a_{j}\mathrm{Cov}\Big{(}\sum_{k=1}^{m}b_{j}Y_{j},X% _{j}\Big{)} (9.14)
=∑j=1n∑k=1maj⁢bk⁢Cov⁢(Yj,Xj)\displaystyle=\sum_{j=1}^{n}\sum_{k=1}^{m}a_{j}b_{k}\mathrm{Cov}(Y_{j},X_{j}) (9.15)
=∑j=1n∑k=1maj⁢bk⁢Cov⁢(Xj,Yj),\displaystyle=\sum_{j=1}^{n}\sum_{k=1}^{m}a_{j}b_{k}\mathrm{Cov}(X_{j},Y_{j}), (9.16)

o que prova a identidade declarada. ∎

Corolário 9.17.

Sejam X1,…,XnX_{1},\dots,X_{n} variáveis aleatórias discretas de variância quadrática integrável. Então

Var⁢(∑k=1nXk)=∑k=1nVar⁢(Xk)+2⁢∑1⩽j<k⩽nCov⁢(Xj,Xk)\mathrm{Var}\Big{(}\sum_{k=1}^{n}X_{k}\Big{)}=\sum_{k=1}^{n}\mathrm{Var}(X_{k}% )+2\sum_{1\leqslant j<k\leqslant n}\mathrm{Cov}(X_{j},X_{k})
Demonstração.

Usando as propriedades anteriores,

Var⁢(∑k=1nXk)\displaystyle\mathrm{Var}\Big{(}\sum_{k=1}^{n}X_{k}\Big{)} =Cov⁢(∑j=1nXj,∑k=1nXk)\displaystyle=\mathrm{Cov}\Big{(}\sum_{j=1}^{n}X_{j},\sum_{k=1}^{n}X_{k}\Big{)} (9.18)
=∑j=1n∑k=1nCov⁢(Xj,Xk)\displaystyle=\sum_{j=1}^{n}\sum_{k=1}^{n}\mathrm{Cov}(X_{j},X_{k}) (9.19)
=∑k=1nCov⁢(Xk,Xk)+∑j≠kCov⁢(Xj,Xk)\displaystyle=\sum_{k=1}^{n}\mathrm{Cov}(X_{k},X_{k})+\sum_{j\neq k}\mathrm{% Cov}(X_{j},X_{k}) (9.20)
=∑k=1nVar⁢(Xk)+2⁢∑1⩽j<k⩽nCov⁢(Xj,Xk).∎\displaystyle=\sum_{k=1}^{n}\mathrm{Var}(X_{k})+2\sum_{1\leqslant j<k\leqslant n% }\mathrm{Cov}(X_{j},X_{k}).\qed (9.21)
Definição 9.22.

Dizemos que uma coleção de variáveis aleatórias discretas de variância quadrática integrável X1,X2,X3,…X_{1},X_{2},X_{3},\dots é não correlacionada se Cov⁢(Xj,Xk)=0\mathrm{Cov}(X_{j},X_{k})=0 para cada j≠kj\neq k.

Corolário 9.23.

Se X1,…,XnX_{1},\dots,X_{n} são variáveis aleatórias discretas não correlacionadas, então

Var⁢(∑k=1nXk)=∑k=1nVar⁢(Xk).\mathrm{Var}\Big{(}\sum_{k=1}^{n}X_{k}\Big{)}=\sum_{k=1}^{n}\mathrm{Var}(X_{k}).
Demonstração.

Aplique a fórmula anterior e observe que a covariância entre termos diferentes é zero. ∎

Isso nos dá a "lei da raiz quadrada": se X1,…,XnX_{1},\dots,X_{n} são variáveis aleatórias discretas não correlacionadas com a mesma média μ\mu e variância σ2\sigma^{2}, então

𝔼⁢[X1+⋯+Xnn]=μ e σ⁢(X1+⋯+Xnn)=σn.\mathbb{E}[\tfrac{X_{1}+\dots+X_{n}}{n}]=\mu\qquad\text{ e }\qquad\sigma(% \tfrac{X_{1}+\dots+X_{n}}{n})=\tfrac{\sigma}{\sqrt{n}}.

Isso começa a explicar por que a lei das médias emerge quando somamos muitas variáveis aleatórias.

9.3 Somas de variáveis independentes duas a duas

Talvez uma expressão mais conveniente para a covariância:

Cov⁢(X,Y)=𝔼⁢[X⁢Y]−𝔼⁢[X]⋅𝔼⁢[Y].\mathrm{Cov}(X,Y)=\mathbb{E}[XY]-\mathbb{E}[X]\cdot\mathbb{E}[Y].

Se XX e YY são independentes, então, pelo Teorema 7.28, Cov⁢(X,Y)=0\mathrm{Cov}(X,Y)=0.

Corolário 9.24.

Se X1,…,XnX_{1},\dots,X_{n} são variáveis aleatórias discretas de variância quadrática integrável independentes duas a duas, então

Var⁢(∑k=1nXk)=∑k=1nVar⁢(Xk).\mathrm{Var}\Big{(}\sum_{k=1}^{n}X_{k}\Big{)}=\sum_{k=1}^{n}\mathrm{Var}(X_{k}).

Pela observação anterior, uma família de variáveis aleatórias discretas independentes duas a duas também é não correlacionada.