EXERCICIO PROVAS – P1

PROCESSOS ESTOCÁSTICOS

PROF: André Diniz

1)
Considere um processo estocástico que envolve um conjunto de 10 bolas, sendo 1 bola preta,
2 bolas azuis, 3 bolas vermelhas e 4 bolas brancas, e que possui as seguintes características:
• inicialmente, há nove bolas dentro de uma caixa e uma bola fora dela. Neste ponto, o
sistema encontra-se no estado inicial X0;
• o processo evolui da seguinte forma: em cada passo k, retira-se uma bola da caixa e, em
seguida, devolve-se à caixa a bola que anteriormente estava fora dela. Ao final desse
passo, a cor da bola que está fora da caixa corresponde ao estado do sistema Xk.

(a) Construa a Matriz transição de probabilidades entre os estados desse processo estocástico.
(b) Considere que, em cada passo desse processo, a bola que se encontra fora da caixa gera
um lucro ou prejuízo, de acordo com a regra mostrada na tabela abaixo:

Bola Preta Azul Vermelha Branca

Retorno + R$3,00 + R$5,00 + R$10,00 − R$15,00
Sabendo-se que o sistema se encontra atualmente com uma bola branca fora da caixa, qual é o
lucro médio esperado para esse sistema no final do próximo passo de tempo?
(c) Quais são as probabilidades em regime permanente dessa cadeia? Justifique. (Responda
sem resolver o sistema de equações).

2)
Considere uma cadeia de Markov com a seguinte matriz transição de probabilidades:

0 3 / 4 1 / 4
P = 1 0 0 
0 1 / 2 1 / 2

(a) Suponha que o estado do sistema noinício de t = 1 seja desconhecido, porém dado pelo
vetor de probabilidades iniciais [0,4; 0,5; 0,1]. Quais são as probabilidades do sistema estar
em cada estado ao final do instante t=2?
(b) Calcule as probabilidades em regime permanente dessa cadeia
(c) Após 5 multiplicações ao quadrado da matriz, tem-se que:
0,400594 0,39952 0,199887
P = 0,399266 0,400594 0,200140
32

0,400280 0,399773 0,199946

Interprete os valores dessa matriz, em relação ao resultado obtido no item (b).

3)
Explique as propriedades que definem um conjunto fechado e um conjunto irredutível de uma
cadeia de Markov.
4)
Considere uma cadeia de Markov com estados {a,b,c,d,e,f,g,h} e a seguinte matriz transição
de probabilidades:
a b c d e f g h
a 0 0 0 1,0 0 0 0 0

b 0 0 0 0 1,0 0 0 0 
c  0 1,0 0 0 0 0 0 0
 
d  0,5 0 0 0,5 0 0 0 0
e  0 0,2 0,5 0 0,3 0 0 0
 
f0 0 0 0 0 0,1 0,4 0,5
g 0 0 0 0 0 0,2 0,6 0,2
 
h 0,2 0 0,1 0 0 0,2 0,2 0,3

(a) Construa o diagrama de transições entre estados dessa cadeia

(b) Quais são os estados transientes e recorrentes? Há algum estado absorvente?
(c) Indique os conjuntos irredutíveis da cadeia, e calcule as probabilidades do sistema cair em
cada um desses conjuntos, a partir de cada um dos estados transientes.
(d) Calcule as probabilidades em regime permanente dessa cadeia.

5)
Considere um jogo descrito da seguinte forma:

6 5 4 3 2 1 0

• uma peça inicia o jogo na casa de número 6

• a cada rodada, a peça anda para a direita a quantidade obtida ao lançar um dado não
viciado;
• se o número tirado for exatamente o necessário para atingir a casa “0”, o jogo acaba;
• caso o número tirado seja maior do que o necessário para chegar à casa “0”, a peça volta o
número de pontos que se tirou em excesso, como mostram os exemplos abaixo:.

Posição inicial Número tirado

Posição final da peça
da peça no dado
4 6 2
1 2 1
2 5 3

(a) Represente este jogo como uma cadeia de Markov, e indique seus estados transientes,
recorrentes e absorventes
(b) Considerando que a peça inicia o jogo na casa 6, calcule a probabilidade de o jogo acabar
após dois lançamentos do dado, utilizando a matriz de transição calculada no item anterior
6)
Explique o que é uma cadeia de Markov, e a propriedade que ela deve ter para ser
considerada uma cadeia de Markov Estacionária.
Dê um exemplo prático de uma cadeia de Markov e indique, neste exemplo, qual é a variável
aleatória em questão e os estados que ela pode assumir

7)
Considere uma cadeia de Markov com a matriz transição de probabilidades mostrada abaixo.
Suponha que a cadeia se inicia no estado “A”.

A B C
A 1 / 2 0 1 / 2 
P = B 1 / 4 0 3 / 4
C  0 1 0 

(a) Após três intervalos de tempo, qual a probabilidade de o sistema se situar em cada um dos
estados?
(b) Suponha que aos estados da cadeia esteja associado o seguinte vetor de retorno:
[ 10 20 -5]
Se no instante t = 0 a cadeia está no estado “A”, qual o lucro esperado no instante t = 2 ?
(c) Como ficará a matriz Pn, quando n tender a infinito?

8)
Considere uma cadeia de Markovcom a seguinte matriz transição de probabilidades:
a b c d e f g h
a 0 0 0 0 1 0 0  0

b  0, 0 0 1 0 0 0.  0

c 0 0 1 0 0 0 0  0
 
d 0 0,9 0 0 0 0,1 0  0
e 0 0 0 0 0 0 0  1
 
f 0 0,75 0 0,25 0 0 0 0 
g 0 0,25 0 0 0 0,25 0,25 0,25
 
h 0,75 0 0 0 0 0 0,25 0 

(a) Quais são os conjuntos irredutíveis desta cadeia?

(b) Classifique cada um dos estados entre transiente e recorrente.
(c) Calcule as probabilidades em regime permanente para cada conjunto irredutível da cadeia
9)
Considere o tabuleiro de um jogo, mostrado abaixo:

CASA 2
- 5pontos
CASA 1 CASA 3
+ 3 pontos +4pontos
CASA 0

Um peão inicia o jogo na casa 0. Como o jogador não dispõe de um dado, sorteia-se
aleatoriamente no EXCEL um valor real X entre 0 e 1, segundo uma distribuição de
probabilidades uniforme, e o movimento do peão é realizado segundo a regra abaixo:
• seX< 0,5 =>o peão permanece onde está
• se 0,5≤X≤ 0,8 =>peão avança 1 casa, no sentido anti-horário;
• se0,8 ≤X≤ 1 =>o peão avança duas casas, no sentido horário;
Após cada movimento, o jogador ganha ou perde o número de pontos indicado na casa onde
parar.
(a) Modele o jogo acima como uma cadeia de Markov
(b) O jogo termina após 10000 movimentos. Nesse ponto, em que casa o peão irá parar? Qual
o número de pontos que se espera que o jogador tenha acumulado nesse período?

10)
Considere a cadeia de Markov com o seguinte matriz de transição:
A B C D E F G H I J K
A  1 0 0 0 0 0 0 0 0 0 0 
 
B  1/ 5 0 0 0 0 2/5 0 0 0 1/ 5 1/ 5 
C  0 1/ 4 0 0 0 0 0 0 0 3/ 4 0 
 
D  0 0 0 1/ 3 2 / 3 0 0 0 0 0 0 
 
E  0 0 0 1 0 0 0 0 0 0 0 
 
P=F  0 0 0 0 0 9 / 10 0 0 0 0 1 / 10 
 
G  0 0 0 0 0 0 1/ 2 0 1/ 2 0 0 
H  0 0 1/ 4 0 2 / 4 0 1/ 4 0 0 0 0 
 
I  0 0 0 0 1/ 5 0 1/ 5 0 3 / 5 0 0 
 
J  0 1 0 0 0 0 0 0 0 0 0 
 
K  0 0 0 0 0 1 0 0 0 0 0 

Pergunta-se:
(a) Quais são os estados transientes e recorrentes da cadeia?
(b) Quais são os conjuntos irredutíveis?
(c) Calcule as probabilidades em regime permanente para cada conjunto irredutível.
11)
Um determinado aparelho médico pode estar em um dos três estados seguintes, a cada dia:
1: Funcionando normalmente;
2: Funcionando precariamente;
3: Sem Funcionar
Sabe-se que:
• quando o equipamento está em funcionamento normal durante o dia, tem igual
probabilidade de ir para qualquer um dos 3 estados no dia seguinte;
• um equipamento que está funcionando precariamente em um dia nunca permanece nesse
estado no dia seguinte: ou irá voltar a funcionar normalmente ou passará a não funcionar no
dia seguinte, com igual probabilidade para cada situação;
• um equipamento sem funcionar em um dia necessariamente será consertado ao longo do
dia, voltando a funcionar normalmente no dia seguinte.
Além disso, sabe-se ainda que o lucro (ou prejuízo) diário quando o aparelho está em cada
estado é dado pelo vetor {100,20,-50}.
Em um determinado dia d, sabe-se queo aparelho está funcionando normalmente.Determine:
(a) O valor esperado e o desvio padrão do lucro gerado por esse equipamento no dia seguinte
(b) As probabilidades de o sistema estar em cada estado no dia d+2.

12)

Responda às seguintes questões:

(a) Como se identifica um estado absorvente em uma cadeia de Markov, olhando apenas para
a matriz de transição da cadeia?
(b) Analise se a seguinte frase está correta “Um conjunto fechado é aquele onde todos os
estados do conjunto se comunicam entre si, e do qual não é possível sair”.

13)
Dois jogadores de xadrez disputam um “desafio” entre si, composto de várias partidas em
sequência, onde o vencedor será aquele que primeiro abrir 3 vitórias de vantagem sobre o
outro. A partir de dados estatísticos estimam-se as seguintes chances para cada um dos
possíveis resultados de cada partida, independente do resultado das partidas já realizadas ao
longo do desafio:

Vitória de A: 50%
Empate: 25%
Vitória de B: 25%

(a) Represente o jogo como uma cadeia de Markov, explicando o significado de cada estado e
calculando sua matriz de transição. Há algum estado absorvente nesta cadeia?
(b) Suponha que, após a partida N, o jogador A tenha duasvitóriasde vantagem. Calcule, a
partir dos dados da cadeia de Markov do item (a), a probabilidade de que o jogador A vença o
desafioem no máximo três partidas adicionais.
14)
Uma cadeia de Markov é composta por 6 estados, nomeados de A aF. Não se conhecem os
valores das probabilidade de transição entre os estados, mas apenas as possíveis transições a 1
passo de tempo entre eles, que estão indicadas no diagrama de transição abaixo:

C
F

B D

Pergunta-se:
(a) Quais são os estados transientes e recorrentes da cadeia?
(b) Pode-se dizer que o conjunto {A,B,E,F} é fechado? Por quê?
(c) Dentre os estados que pertencem ao conjunto irredutível da cadeia, é possível identificar
se algum deles possui probabilidade em regime permanente menor (ou maior) do que os
outros? Justifique a resposta.

15)
Observe a seguinte matriz de transição, associada a uma cadeia de Markov com estados a, b, c
e d.

a b c d
a 3 / 4 1 / 4 0 0 

b 0 0 1 0 
P= 
c 1 / 2 0 0 1 / 2
 
d  0 1/ 2 1/ 2 0 

(a) Qual o percentual médio em que cada estado é visitado, ao longo do tempo?

Sabendo-se que em t=1 o sistema se encontra no estado c, calcule os itens (b) e (c) abaixo:

(b) A probabilidade de o sistema se situar no estado b em t=3,

(c) Se o sistema incorre em lucros de $50, $100, $150 e $200 sempre que visita os estados a,
b, c e d, respectivamente, calcule o valor esperado do lucro incorrido em t=3.
16)

Suponha que, em determinada região, as probabilidades para as condições climáticas para o

dia seguintepossam ser estimadas apenas em função das condições climáticas observadas para
o dia corrente e o dia anterior, discretizadas em 3 estados: “céu claro’, “nublado” e “chuvoso”
(por exemplo, se ontem e hoje houve céu nublado, a probabilidade de chuva para amanhã é de
30%).

Mesmo dependendo do passado (o dia de ontem) é possível representar esse sistema como
uma cadeia de Markov, redefinindo-se o conjunto de estados do sistema. Explique como isso
poderia ser feito.

17)
(a) O que é uma cadeia de Markov estacionária?
(b) Dê dois exemplos de processos estocásticos com variável aleatória e parâmetro contínuos.
(c) Em uma cadeia de Markov com estados A, B, C e D, tem-se que o elemento referente à
linha A e coluna B da matriz P2 (onde P é a matriz de transição) vale 1/2. O que significa esse
valor?

18)
Um empregado recebe uma avaliação semanal de sua empresa, entre os conceitos “Ótimo”,
“Bom”, “Regular” e “Fraco” Historicamente, a avaliação na próxima semana está relacionada
com a da semana anterior, de acordo com a seguinte matriz de transição:
ótimo  0,2 0,3 0,4 0,10
 0,2 0,4 
P = bom  0,3 0,1
regular 0,25 0,25 0,2 0,3 
 
fraco  0,3 0,5 0,2 0,1 
a) Considere que a avaliação do empregado na semana corrente foi "Fraco". Baseado no
histórico, o que pode se esperar do desempenho desse empregado na semana que vem?
b) Os empregados dessa empresa recebem bônus de R$500,00 ou R$200,00 por semana,
apenas se tiverem avaliação “Ótimo” ou “Bom”, respectivamente, naquela semana. Calcule o
valor esperado da soma das bonificações desse empregado nas duas próximas semanas.

19)
Observe a seguinte matriz de transição P de uma cadeia de Markov.
a b c d e f g h
a 1 / 2 0 0 0 0 0 0 1 / 2

b 0 1 0 0 0 0 0. 0 
c 1 / 9 1 / 9 0 2 / 9 3 / 9 1 / 9 1 / 9 0 
 
d 0 0 0 0 0 0 1 0 
P=
e 1 / 4 0 0 0 2/ 4 0 0 1 / 4
 
f 0 0 1/ 3 0 0 2/3 0 0 
g 0 0 0 3/ 4 0 0 1/ 4 0 
 
h  0 0 0 0 1 0 0 0 
a) Determine os conjuntos irredutíveis dessa cadeia
b) Calcule as probabilidades de o sistema estar em cada estado em um passo muito distante de
tempo no futuro, sabendo-se que atualmente o sistema se encontra no estado "f".
20)
Modele como uma cadeia de Markov o seguinte jogo de paciência, com 12 cartas, sendo 3 de
cada naipe. Descreva claramente os estados e calcule a Matriz de Transição.
Passo 1. Retiram-se 3 cartas do baralho. As demais são misturadas, formando um maço de 9 cartas;
Passo 2. Descarta-se um conjunto de 1, 2 ou 3 cartas de sua mão, repondo-se em seguida a sua mão comprando o
mesmo número de cartas do maço, de forma aleatória (as cartas descartadas não voltam pro maço ainda).
Passo 3. APÓS essa reposição, embaralham-se todas as cartas restantes em um novo maço de 9 cartas
Volta-se ao passo 2. O jogo termina quando o jogador fica com 3 cartas de Copas na mão.
(obs: Como o objetivo é obter as 3 cartas de Copas o mais rápido possível, em cada rodada o jogador manterá na
mão apenas as cartas desse naipe, descartando as demais).
 GABARITO - EXERCÍCIOS PROVAS P1 - PROCESSOS
ESTOCÁSTICOS

PROF: André Diniz

1)
P A V B
P 0 2 3 4
(a)
A 1 1 3 4 1
P= ×
V 1 2 2 4 9
 
B 1 2 3 3
1 2 3 3 2
(b) × 3,0 + × 5,0 + × 10,0 + × (−15,0) = −
9 9 9 9 9
1 2 3 4
(c)  , , , 
10 10 10 10 

2)

7 9 1
(a)  , , 
 20 20 5 

2 2 1
(b)  , , 
5 5 5

(c) Os valores em cada coluna indicam uma estimativa bem precisa, para as probabilidades
em regime permanente. Isto quer dizer que, após 32 transições, a probabilidade de o
sistema estar em cada estado dependerá muito pouco do estado inicial.

4) 0,5
d
0,1 0,6
a
(a) 0,4 1,0 0,5
f g
0,2
0,5 0,2 0,2
0,2
0,2
1,0
h
0,3 0,1 c b

0,5 0,2
0,5 1,0

e
0,3
(b) Transientes: {f,g,h};
Recorrentes: {a,b,c,d,e};
Absorventes:{∅}

(c) C1={a,d}, probabilidade de 2/3

C2={b,c,e}, probabilidade de 1/3

1 2 7 5 10
(d) em C1: {π a , π d } =  ,  ; em C2: {π b , π c , π e } =  , ,  ;
3 3   22 22 22 
5)
(a) Estados: Casas {6,5,4,3,2,1,0}

Matriz de transição P:
6 5 4 3 2 1 0
6 0 1 / 6 1/ 6 1/ 6 1/ 6 1 / 6 1 / 6
5 0 0 1 / 6 1 / 6 1 / 6 2 / 6 1 / 6
4 0 0 0 1 / 6 2 / 6 2 / 6 1 / 6
 
P= 3 0 0 0 1 / 6 2 / 6 2 / 6 1 / 6
2 0 0 1 / 6 1 / 6 1 / 6 2 / 6 1 / 6
 
1 0 1 / 6 1 / 6 1 / 6 1 / 6 1 / 6 1 / 6
0 0 0 0 0 0 0 1 

Estados transientes: {6,5,4,3,2,1}

Estados recorrentes: {0}
Estados absorventes: {0}

(b) 11/36

7)

1 1 1
(a)  , , 
4 4 2

(b) 45/4

A 1 / 5 2 / 5 2 / 5
(c) lim P = B 1 / 5 2 / 5 2 / 5
n
n →∞
C 1 / 5 2 / 5 2 / 5

8)

(a)C1 = {b,d,f} ; C2 = {c}

(b)

Estados transientes: {a,e,g,h}

Estados recorrentes: {b,d,c,f}
Estados absorventes: {c}

39 40 4
(c) {π b , π d , π f } =  , , , ; {π c } = {1}
 83 83 83 
9)

a) Estados: 0, 1, 2 e 3 (possíveis casas onde pode se situar o peão

0 1 2 3
0 0,5 0 0,2 0,3
Matriz de transição:
1 0,3 0,5 0 0,2
P=
2 0,2 0,3 0,5 0 
 
3  0 0,2 0,3 0,5

b)

Probabilidades em regime permanente para cada estado: 0,25 (pois o diagrama de transição é
equilibrado para todos os estados)

Lucro esperado por rodada: 0,25 × (0) + 0,25 × (+3)0,25 × (-5)+ 0,25 × (+4) = 0,5

Lucro total médio após 10.000 rodadas: 5.000

10)

a) Transientes: {B,C,G,H,I,J}
Recorrentes: {A,D,E,F,K}

b) Conjuntos irredutíveis: I1 = {A}, I1 ={D,E}, I1 ={F,K}

c)
- Para I1 :πA= 1,0
- Para I2 :πD= 3/5; πE= 2/5;
- Para I3 :πF= 10/11; πK= 1/11;

11)
a)Valor esperado: $23,33 (=70/3); Desvio Padrão: $61,28

b){11/18, 2/18, 5/18} para os estados 1, 2 e 3, respectivamente

12)
a)Na linha referente a esse estado, todas as colunas tem o valor “0”, exceto a do próprio
estado, que tem o valor 1

b)A definição se refere a um conjunto irredutível, que é algo mais específico. Para um
conjunto ser fechado, basta não ser possível sair dele, e os estados não necessariamente se
comunicam entre si.
13)
a) Estados: {-3,-2,-1,0, 1, 2 e 3}, que indicam o número de vitórias de vantagem de um dos
jogadores contra o outro. Escolhendo a representação pelo número de vitórias do jogador A
contra o B, tem-se:
+3 +2 +1 0 −1 −2 −3
+3 1 0 0 0 0 0 0 
Matriz de transição: + 2 0,50 0,25 0,25 0 0 0 0 
+1  0 0,50 0,25 0,25 0 0 0 
 
P= 0  0 0 0,50 0,25 0,25 0 0 
−1  0 0 0 0,50 0,25 0,25 0 
 
− 2 0 0 0 0 0,50 0,25 0,25
− 3  0 0 0 0 0 0 1 
b)23/32

14)
a) Transientes: {A,C,D}
Recorrentes: {B,E,F}
b)Sim, pois não há nenhum arco deixando o conjunto
c)As probabilidades de E e F são iguais, e superiores à do estado B.

15)
 8
a : 17 , ou 47,06%;

b : 3 , ou 17,64%
 17
a) 
c : 4 , ou 23,53%
 17
 2
d : , ou 11,76%
 17

b)3/8
3 3 1
c) × (50) + × (100) + × (150) + 0 × (200) = 93,75
8 8 4

16)
Deve-se considerar como “estado” da cadeia de Markov, em cada dia, a combinação das
condições climáticas para o dia corrente e o dia anterior. Desta forma, teríamos 9 estados:
{ (claro,claro),(claro,nublado),(claro,chuvoso),
(nublado,claro),(nublado,nublado),(nublado,chuvoso),
(chuvoso,claro),(chuvoso,nublado),(chuvoso,chuvoso),.
17)

a) Cadeia de Markov onde a matriz de transição é constante no tempo.

b)

- umidade em determinada região, ao longo do dia

- consumo de eletricidade em uma casa, ao longo do mês.

c) Dado que a cadeia está no estado A, a probabilidade de estar no estado B daqui a dois
passos de tempo é ½

18)

a) 30% de chance de avaliação “ótima”, 40% de chance de avaliação “Bom”, 20% de chance
de avaliação “Regular” e 10% de chance de avaliação “Fraco”

b) R$ 404,00

19)

a) {B}, {D,G}, {A,H,E}

1 1 9 1 12 1 
b)  , , 0, , , 0, , 
8 8 56 4 56 8 

20)

X: número de cartas de copas em cada passo t;

Valores possíveis para X: {0, 1, 2, 3}

Matriz de transição:

0 1 2 3
0 20 / 84 45 / 84 18 / 84 1 / 84
1  0 21 / 36 14 / 36 1 / 36
P=
2 0 0 8/9 1/ 9 
 
3 0 0 0 1 