Tópico: Cadeias de Markov

Um exemplo de como usar núcleos de transição é a construção de Cadeias de Markov. Esse tipo de processo é bastante útil em diversas aplicações, desde a biologia até a computação.

Considere um espaço mensurável canônico fixo $(E,\mathcal{A})$ e seja $K$ um núcleo de $E$ nele mesmo. Seria bastante intuitivo agora iterar $K$ (já que ele está no mesmo espaço) e obter uma medida em $\Omega=E^{\mathbb{N}}$ com a $\sigma$-álgebra canônica.

Para começar esse procedimento, seja $\mu_{0}$ uma medida inicial em $(E,\mathcal{A})$. Podemos então definir $\mu_{1}=\mu_{0}\star K$ o que é o primeiro passo da nossa construção, porém observe que não podemos escrever “$\mu_{2}=\mu_{1}\star K$”, pois $\mu_{1}\star K$ é uma medida em $(E^{2},\mathcal{A}^{\otimes 2})$. Vamos com calma então.

Observe que

ou em outras palavras o valor de $x_{0}$ determina a distribuição de $x_{1}$. Gostaríamos agora que $x_{1}$ determinasse a distribuição de $x_{2}$ via $K$, como por exemplo assim

Mas essa notação fica bastante carregada à medida que iteramos.

Para tornar essa notação mais simples, definimos a projeção $\phi_{n}:E^{n}\to E$ por $\phi_{n}(x_{0},\dots,x_{n-1})=x_{n-1}$. Também precisamos de $K_{n}:E^{n}\times\mathcal{A}\to[0,1]$ dado por

O fato de $K_{n}$ ser um núcleo de transição segue imediatamente dessa propriedade para $K$.

Note que, nessa notação, estamos dizendo que para irmos de $E^{n}$ para $E^{n+1}$ iremos olhar apenas para a última coordenada, na qual aplicaremos o núcleo $K$. Isso é o ponto mais importante que caracteriza uma Cadeia de Markov: a distribuição do estado futuro da cadeia depende apenas do estado atual e não do passado. Em alguns contextos essa propriedade é chamada de ausência de memória.

Podemos finalmente definir

Mas resta a questão sobre a existência de uma $\mu^{\infty}$ que será respondida com ajuda do próximo resultado.

As probabilidades $\mu_{n}$ definidas em (2.118) são compatíveis, mais precisamente $\mu_{n+1}(A\times E)=\mu_{n}(A)$ para todo $A\in\mathcal{A}^{\otimes n}$.

Logo, o Teorema da Extensão de Kolmogorov (lembre que $(E,\mathcal{A})$ foi suposto canônico) nos fornece uma única $P$ em $(\Omega,\mathcal{F})$ tal que

Lembramos que $X_{i}$ denotam as projeções canônicas em $\Omega=\prod_{i=1}^{\infty}E$.

Chamamos o processo $X_{1},X_{2},\dots$ sob a lei $P$ da Cadeia de Markov com distribuição inicial $\mu_{0}$ e núcleo de transição $K$.

Suponha que $E$ seja enumerável. Nesse caso recordamos do Exemplo 2.9 que o núcleo pode ser representado por uma matriz $\big{(}p(x,y)\big{)}_{x,y\in E}$ que nos retorna a probabilidade de saltar de $x$ a $y$. Além disso, a distribuição inicial $\mu_{0}$ é determinada por $P(\{x\})=p_{0}(x)$, para alguma sequência $\big{(}p_{0}(x)\big{)}_{x\in E}$.

Mostre que no exemplo acima temos

Defina $K:\mathbb{R}^{2}\times\mathcal{B}(\mathbb{R}^{2})\to[0,1]$ dada por

Nesse contexto,

1.  a)
   ​

   mostre que $K$ é um núcleo de transição e,

2.  b)
   ​

   considerando a cadeia com distribuição inicial $\mu_{0}=\delta_{0}$ em $\mathbb{R}^{2}$ e núcleo $K$, mostre que $X_{2}$ tem distribuição absolutamente contínua com respeito a Lebesgue e calcule sua densidade.

Mostre que para qualquer núcleo de transição $K$ entre $E$ e $E$, existe um núcleo de transição $\widebar{K}$ entre $E$ e $\Omega=E^{\mathbb{N}}$, tal que para toda medida inicial $\mu_{0}$, temos que $\mu_{0}\star K$ é a distribuição de uma Cadeia de Markov começando de $\mu_{0}$ e com transição dada por $K$. Esse núcleo é útil se quisermos mudar a distribuição inicial $\mu_{0}$ e uma notação bastante comum para esse núcleo é $P_{x}(\cdot)=\widebar{K}(x,\cdot)$.

Vamos terminar essa seção dando uma interpretação bastante interessante para os núcleos de transição em analogia à álgebra linear. Fixe um núcleo de transição $K$ entre $E$ e $E$, uma medida inicial $\mu$ e uma função limitada $f:E\to\mathbb{R}$. Relembre a notação em (2.102) e defina $Kf:E\to\mathbb{R}$ dada por

que é obviamente limitada e já vimos ser mensurável no Teorema de Fubini.

Então temos dois operadores definidos para núcleos, a multiplicação à esquerda por uma medida em $E$ ($\mu K$ que também é uma medida em $E$) e a multiplicação à direita por uma função limitada e mensurável ($Kf$ que também é uma função limitada e mensurável). Podemos pensar em $f$ como um vetor coluna e $\mu$ como um vetor linha, nesse caso $K$ faria o papel de uma matriz. Essa analogia é real se $E$ for um espaço enumerável.

No contexto de cadeias de Markov,

1.  a)
   ​

   mostre a relação de associatividade $\mu(Kf)=(\mu K)f$,

2.  b)
   ​

   defina para todo $n$ o núcleo $K^{(n)}$ iterado (de $E$ em $E$), de forma que $\mu K^{(n)}f$ ainda seja associativa.

3.  c)
   ​

   Mostre que a medida $\mu K^{(n)}$ é a distribuição de $X_{n}$ se começamos de $\mu$,

4.  d)
   ​

   que a função $K^{(n)}f(\cdot)$ é o valor esperado de $f$ no tempo $n$ se começamos no zero do ponto $\cdot$ e finalmente que

5.  e)
   ​

   o número real $\mu K^{(n)}f$ é a esperança de $f$ no tempo $n$ se começamos de $\mu$.

Vamos agora dar um exemplo simples de Cadeia de Markov que poderemos analisar em detalhes.

Seja $E=\mathbb{Z}$ e considere $K:\mathbb{Z}\times\mathcal{P}(\mathbb{Z})\to[0,1]$ dado por

que obviamente define um núcleo pois toda função em $\mathbb{Z}$ é mensurável na $\sigma$-álgebra das partes.

Podemos portanto construir $P$ em $\mathbb{Z}^{\mathbb{N}}$ que nos fornece a lei de uma Cadeia de Markov em $\mathbb{Z}$ com distribuição inicial $\delta_{0}$ e núcleo de transição $K$. Chamamos esse processo de passeio aleatório simples simétrico.

Poderíamos estar interessados em várias perguntas sobre esse processo, como por exemplo quão longe esperamos que o passeio aleatório pode ir depois de um determinado tempo? Para responder essa e várias outras questões, iremos mostrar outra construção do passeio simples simétrico através de uma soma de variáveis aleatórias.

Introduzimos um espaço de probabilidade $\tilde{P}$, variáveis $Y_{1},Y_{2},\dots$ \iidcom distribuição $(\delta_{-1}+\delta_{1})/2$ e definimos $S_{0}=0$ e $S_{n}=Y_{1}+\dots+Y_{n}$.

A distribuição da sequência infinita $(X_{0},X_{1},\dots)$ sob a lei $P$ do passeio aleatório simples e simétrico é igual à distribuição de $(S_{0},S_{1},\dots)$ sob $\tilde{P}$.

Podemos agora por exemplo estimar

que responde nossa pergunta sobre a probabilidade de um passeio aleatório se distanciar muito da origem.