2. Una patrulla policiaca vigila un vecindario conocido por sus actividades pandilleriles.

Durante un patrullaje hay 60% de probabilidades de llegar a tiempo al lugar donde se

requiere la ayuda; si no sucede algo, continuará el patrullaje regular. Después de recibir
una llamada, hay 10% de probabilidades de cancelación (en cuyo caso el patrullaje normal
se reanuda), y 30% de probabilidad de que la unidad ya esté respondiendo a la llamada
anterior. Cuando la patrulla llega a la escena del suceso, hay 10% de probabilidades de
que los instigadores hayan desaparecido (en cuyo caso reanuda su patrullaje), y 40% de
probabilidades de que se haga una aprehensión de inmediato. De otro modo, los oficiales
rastrearán el área. Si ocurre una aprehensión, hay 60% de probabilidades de trasladar a
los sospechosos a la estación de policía, de lo contrario son liberados y la unidad regresa
a patrullar. Exprese las actividades probabilísticas de la patrulla en la forma de una matriz
de transición.

Estados
1= Patrulla en vigilancia
2= Patrulla respondiendo una llamada
3= Patrulla en la escena de una llamada
4= Aprehensión realizada
5= Transporte a la estación de policía

Matriz de transición:

En un día soleado Minigolf puede tener ingresos de $2000. Si el día está nublado, los ingresos
se reducen 20%. Un día lluvioso reducirá los ingresos en 80%. Si hoy está soleado hay
80% de probabilidades de que mañana esté soleado sin amenaza de lluvia. Si está
nublado, hay 20% de probabilidades de que mañana llueva, y 30% de probabilidades
de que esté soleado. Seguirá lloviendo hasta el día siguiente con una probabilidad de
.8, pero con 10% de probabilidades de que esté soleado. (a) Determine los ingresos
diarios esperados para Minigolf. (b) Determine el promedio de días que no estarán
soleados

(a) cadena de markov de entrada

Probabilidades de estado estable:

(π1, π 2, π 3) = (π 1, π 2, π 3)P

π1+ π 2+ π 3=1

RESULTADOS DE SALIDA:

INGRESOS ESPERADOS= 2*0,5+1,6*0,25+0,4*0,25= $1,500

6. Algunos ex convictos pasan el resto de su vida libre en juicio, en la cárcel, o en libertad

condicional. Al inicio de cada año, las estadísticas muestran que hay 50% de
probabilidades de que un ex convicto libre cometa un nuevo delito y de que sea
procesado. El juez puede enviar al ex convicto a la cárcel con una probabilidad de .6, u
otorgarle la libertad condicional con probabilidad de .4. Un vez que están en la cárcel, 10%
de los ex convictos serán puestos en libertad por buena conducta. De los que están en
libertad condicional, 10% cometen nuevos delitos y son arraigados para ser procesados,
50% regresarán para cumplir su sentencia por violar las órdenes de libertad condicional,
y 10% serán puestos en libertad por falta de pruebas. Los contribuyentes solventan el
costo asociado con el castigo de los ex convictos. Se estima que un juicio costará
aproximadamente $5000, una sentencia de cárcel promedio costará $20,000, y un periodo
de libertad condicional promedio costará $2000.
(a) Determine el costo esperado por ex convicto.
(b) ¿Con qué frecuencia regresa un ex convicto a la cárcel?

Estados

1= Libre
2= Juicio
3= Cárcel
4= Libertad Condicional
8. Hay tres categorías de filtro del impuesto sobre la renta en los Estados Unidos: los que nunca
evaden impuestos, lo que en ocasiones lo hacen, y los que siempre lo hacen. Un
examen de las declaraciones de impuestos auditadas de un año al siguiente muestra
que de los que no evadieron impuestos el año pasado, 95% continuará en la misma
categoría este año; 4% se moverá a la categoría “a veces”, y el resto se moverá a la
categoría “siempre”. Para los que a veces evaden impuestos, 6% se moverá a “nunca”,
90% permanecerá igual, y 4% se moverá a “siempre”. Por lo que se refiere a los
evasores de “siempre”, los porcentajes respectivos son 0, 10 y 90%.

(a) Exprese el problema como una cadena de Markov.

(b) A la larga, ¿cuáles serían los porcentajes de las categorías de evasión de impuestos
de “nunca”, “a veces” y “siempre”?
(c) Las estadísticas muestran que un contribuyente en la categoría “a veces” evade
impuestos que suman aproximadamente $5000 por declaración y en la categoría
“siempre” suman aproximadamente $12,000. Suponiendo que la población de
contribuyentes es de 70 millones y la tasa del impuesto sobre la renta promedio
es 12%, determine la reducción anual de los impuestos recolectados debido a la
evasión.

Solución:

(a) cadena de markov de entrada

(b)

RESULTADOS DE SALIDA:

44.12% nunca, 36.76% a veces, 19.11% siempre

(c) Impuestos recaudados esperados/año = 0,12($5000 x 0,3676 + 12,000 x 0,1911) x

70 000 000 = $34 711 641 097,07

10. La dinámica de la población se ve afectada por el continuo movimiento de las

personas que buscan una mejor calidad de vida o un mejor empleo. La ciudad de
Mobile tiene una población citadina interna, una población suburbana y una población
rural circundante. El censo levantado a intervalos de 10 años muestra que el 10% de la
población rural se traslada a los suburbios y 5% al interior de la ciudad. En cuanto a la
población suburbana, 30% se traslada a áreas rurales y 15% al interior de la ciudad. La
población del interior de la ciudad no se cambia a los suburbios, pero 20% si se cambiara
a la quieta vida rural.

(a) Exprese la dinámica de la población como una cadena de Markov

(b) Si el área metropolitana de Mobile en la actualidad incluye 20.000 residentes rurales,
100.000 suburbanos, y 30.000 habitantes citadinos, ¿Cuál será la distribución de
población en 10 años?. ¿En 20 años?

( c ) Determine el panorama de Mobile a largo plazo.

(a)

Estados:

1= Vive en la Población Citadina

2= Vive en la Población suburbana

3= Vive en la población rural Circundante

Matriz de transición:

(b)

RESULTADOS DE SALIDA:

12. Una librería repone las existencias de un libro popular a nivel de 100 ejemplares
al inicio de cada día. Los datos de los últimos 30 días proporciona las siguientes
posiciones de inventario al final del día:
1,2,0,3,1,0,0,3,0,1,1,3,2,3,3,2,1,0,2,0,1,3,0,0,3,2,1,2,2.

(a) Represente el inventario diario como una cadena de Markov.

(b) Determine la probabilidad de estado estable de que la librería se quede sin libros
en cualquier día.
(c) Determine el inventario diario esperado.
(d) Determine el promedio de días entre inventarios cero sucesivos.
14. El gobierno federal trata de promover las actividades de las pequeñas empresas
otorgando concesiones anuales para proyectos. Todas las licitaciones son competitivas,
pero la probabilidad de recibir una concesión es máxima si el propietario no ha recibido
alguna durante los últimos tres años, y mínima si se dieron otorgamientos en cada uno
de los últimos tres años. De manera específica, la probabilidad de obtener una
concesión si no se ha recibido ninguna en los últimos tres años es de .9. Se reduce a .8
si se recibió una, a .7. si se recibieron dos, y de sólo .5 si se recibieron tres.

(a) exprese la situación como una cadena de markov.

(b) determine la cantidad esperada de otorgamientos por propietario por año

Solución:

(a) estados (i, j, k)=(No. De años -2, No. De años -1, No. En el año en curso).

I, j, k= 0 ó 1

(b)

Número esperado de los contratos de 3 años=

1(0.066865 + 0.066865 + 0.066865) + 2(0.178306 + 0.178306 + 0.178306)+
3(0.249629) = 2.01932
Número esperado de contratos / año= 2.01932/3 = 0.67311

16. Un laberinto se compone de las rutas mostradas en la figura 17.3. La intersección 1

es la entrada al laberinto, y la intersección 5 es la salida. En cualquier intersección, el
ratón tiene probabilidades iguales de seleccionar cualquiera de las rutas disponibles.
Cuando el ratón llega a la intersección 5, el experimento se repite volviendo a entrar al
laberinto por la intersección 1.

(a) Exprese el laberinto como una cadena de Markov.

(b) Determine la probabilidad de que, comenzando en la intersección 1, el ratón llegue

a la salida después de tres intentos.

(c) Determine la probabilidad a largo plazo de que el ratón localice la intersección de

salida.

(d) Determine el promedio de intentos necesario para llegar al punto de salida desde la
intersección 1.

Solución:

Probabilidades iniciales:

1 2 3 4 5

1 0 0 0 0

(a) Cadena de Markov de entrada:

 (b) a5 = 0.07407
(c) π5 = 0.214286
(d) µ15 = 4.6666.

(I - N)-1

18. Jim y Joe comienzan un juego con cinco fichas, tres para Jim y dos para Joe. Se
lanza una moneda, y si el resultado es cara, Jim le da a Joe una ficha, de lo contrario
Jim obtiene una ficha de Joe. El juego termina cuando Jim o Joe tiene todas las fichas.
En este punto, hay 30% de probabilidades de que Jim y Joe continúen con el juego,
comenzando de nuevo con tres fichas para Jim y dos para Joe.

(a) Represente el juego como una cadena de Markov.

(b) Determine la probabilidad de que Joe gane con tres lanzamientos de la moneda. De
que Jim gane haciendo lo mismo.

(c) Determine la probabilidad de que un juego termine a favor de Jim. A favor de Joe.

(d) Determine el promedio de lanzamientos de moneda necesario antes de que Jim

gane. Joe gana.

(a)
(b)

La probabilidad de que Joe gane con 3 lanzamientos es de 0,625. La probabilidad de

que Tim gane con 3 lanzamientos es de 0

20. Los clientes pueden ser leales a marcas de productos pero pueden ser persuadidos
mediante publicidad y mercadotecnia inteligentes para que cambien de marcas.
Considere el caso de tres marcas: A, B y C. Los clientes que se “mantienen” leales a
una marca dada se estiman en 75%, con un margen de sólo 25% para que sus
competidores hagan un cambio. Los competidores lanzan sus campañas publicitarias
una vez al año. Para los clientes de la marca A, las probabilidades de que cambien a
las marcas B y C son de .1 y .15, respectivamente. Los clientes de la marca B son
propensos a cambiar a las marcas A y C, con las siguientes probabilidades: .2 y .05
respectivamente. Los clientes de la marca C pueden cambiar a la marcas A y B con
probabilidades iguales. (a) Exprese la situación como una cadena de Markov. (b) A largo
plazo, ¿qué tanto segmento del mercado dominará cada marca? (c) ¿Cuánto tiempo en
promedio le llevará a un cliente de la marca A cambiar a la marca B?

SOLUCIÓN:

CADENA DE MARKOV DE ENTRADA

A B C

A 0,75 0,1 0,15

B 0,2 0,75 0,05

C 0,125 0,125 0,75

(b)

ESTADO ESTADO ESTABLE

A 0.394737
B 0.307018
C 0.298246

A: 39.5%, B: 30.7%, C: 29.8%

(I - N)-1 MU

A C B

A 5.71429 3.42857 A 9.14286

C 2.85714 5.71429 C 8.57143

1 2 C

A 5.88235 2.35294 A 8.23529

B 4.70588 5.88235 B 1.5882

(C)

A B: 9.14 años

A C: 8.23 años

22. En el Casino del Rio, un apostador puede apostar en dólares enteros. Cada apuesta
gana $1 con probabilidad de 0.4 o pierde 1$ con probabilidad de 0.6. Comenzando con
tres dólares, el apostador se retirara si pierde todo el dinero o bien lo duplica.
(a) Exprese la situación como una cadena de Markov
(b) Determine el promedio de apuestas hasta que el juego termina.
Determine la probabilidad de terminar el juego con $6. De perder los $3.

(a)

Estados:
1= Tener 0 dólares
2= Tener 1 dólar
3= Tener 2 dólares
4= Tener 3 dólares
5= Tener 4 dólares
6= Tener 5 dólares

0 1 2 3 4 5 6

0 1 0 0 0 0 0 0

M = 1 0.6 0 0.4 0 0 0 0

2 0 0.6 0 0.4 0 0 0 .
3 0 0 0.6 0 0.4 0 0

4 0 0 0 0.6 0 0.4 0

5 0 0 0 0 0.6 0 0.4

6 0 0 0 0 0 0 1

(b) Dividimos la matriz que quede de la forma [𝑁 𝐴 0 𝐼 ]

5 1 2 3 4 0 6

5 0 0 0 0 0.6 0 0.4

M = 1 0 0 0.4 0 0 0.6 0

2 0 0.6 0 0.4 0 0 0 .
3 0 0 0.6 0 0.4 0 0

4 0.4 0 0 0.6 0 0 0

0 0 0 0 0 0 1 0

6 0 0 0 0 0 0 1

Hallamos la matriz (𝐼 – 𝑁 )−1 A

5 1 2 3 4 0 6
211 81 135 9 195
5 133 133 133 7 133
5 0 0.4

16 211 130 4 40
1 133 133 133 7 133
1 0.6 0
 40 195 325 10 100
M= 2 133 133 133 7 133
2 0 0

4 9 15 19 10
3 7 7 7 7 7
3 0 0

130 135 225 15 325

4 133 133 133 7 133
4 0 0

Realizamos la operación de matrices (𝐼 – 𝑁 )−1 * A

0 6
243 422
5 665 665

663 32
1 665 665

117 16
2
133 133

27 8
3 35 35

81 52
4 133 133

( c)

● Probabilidad de terminar el juego con 6 dolares

Si tiene 5 dolares la probabilidad de salir con 6 es de 63.4 %

Si tiene 1 dólar la probabilidad de terminar con 6 es de 4,81%

Si tiene 2 dolares la probabilidad de terminar con 6 es de 12,03%

Si tiene 3 dolares la probabilidad de terminar con 6 es de 22.85 %

Si tiene 4 dolares la probabilidad de terminar con 6 es de 39.09%

● Probabilidad de terminar el juego con 0 dolares

Si tiene 4 dolares la probabilidad de tener 0 dolares en el siguiente juego es 60.90%

Si tiene 5 dolares la probabilidad de tener 0 dolares en el siguiente juego es 34.5%

Si tiene 1 dolares la probabilidad de tener 0 dolares en el siguiente juego es 95.10%

Si tiene 2 dolares la probabilidad de tener 0 dolares en el siguiente juego es 87.96%

Si tiene 3 dolares la probabilidad de tener 0 dolares en el siguiente juego es 77.14%

24. Un empleado que ahora tiene 55 años de edad planea retirarse a la edad de 62 pero
no ha descartado la posibilidad de hacerlo antes. Al final de cada año
pondera sus opciones (y actitud con respecto al trabajo). La probabilidad de
renunciar después de un año es de sólo .1, pero parece incrementarse en
aproximadamente .01 con cada año más que pasa.

(a) Exprese el problema como una cadena de Markov.

(b) ¿Cuál es la probabilidad de que el empleado permanezca con la compañía hasta

que planee su retiro a los 62 años?

(C) A los 57 años, ¿cuál es la probabilidad de que el empleado renuncie?

(d) A los 58 años, ¿cuál es el número esperado de años antes de que el empleado
quede fuera de la nomina?

Estados:

1= que se retire a los 56

2= que se retire a los 57

3= que se retire a los 58

4= que se retire a los 59

5= que se retire a los 60

6= que se retire a los 61

7= que se retire a los 62

Matriz de transicion:

1 2 3 4 5 6 7

1 0.10 0.11 0.12 0.13 0.14 0.15 0.25

M = 2 0 0.11 0.12 0.13 0.14 0.15 0.35

3 0 0 0.12 0.13 0.14 0.15 0.46 .

4 0 0 0 0.13 0.14 0.15 0.58
 5 0 0 0 0 0.14 0.15 0.71

6 0 0 0 0 0 0.15 0.85

7 0 0 0 0 0 0 1

1) 0.10p1 = p1
2) 0.11p1 + 0.11 p2 = p2
3) 0.12p1+0.12p2+0.12p3= p3
4) 0.13p1+0.13p2 + 0.13p3 + 0.13p4 = p4
5) 0.14p1+0.14p2+0.14p3+0.14p4+0.15p5 = p5
6) 0.15p1+ 0.15p2 + 0.15p3 + 0.15p4+ 0.15p5 + 0.15p6 = p6
7) 0.25 p1 + 0.35 p2 + 0.46 p3 + 0.58 p4 + 0.71 p5 + 0.85 p6 +p7 = p7
8) P1+p2+p3+p4+p5+p6+p7= 0

Resolviendo el sistema de ecuaciones nos queda que

P1= 0.574158

P2= 0.07

P3= 0.08

P4= 0.10

P5= 0.13

P6= 0.02

P7= 0

La probabilidad de que el empleado permanesca en la compañía es del 97%

(b) la probabilidad de que renuncie es del 7% a los 57 años

26. Los estudiantes en U de A han expresado su disgusto por el rápido paso al cual el
departamento de matemáticas está impartiendo el Cal I de un semestre. Para afrontar
este problema, el departamento de matemáticas ahora está ofreciendo Cal I en 4 módulos.
Los estudiantes establecerán su paso individual para cada módulo y, cuando estén listos,
harán un examen que los llevará al siguiente módulo. Los exámenes se aplican una vez
cada 4 semanas, de modo que un estudiante diligente puede completar los 4 módulos en
un semestre. Después de un par de años con este programa, 20% de los estudiantes
completa el primer módulo a tiempo. Los porcentajes para los módulos del 2 al 4 fueron
de 22, 25 y 30%, respectivamente. (a) Exprese el problema como una cadena de Markov.
(b) En promedio, un estudiante que inició el módulo I al principio del semestre actual ¿será
capaz de llevar el módulo II el siguiente semestre? (El Cal I es un prerrequisito para el Cal
II).
(c) Un estudiante que haya completado sólo un módulo el semestre anterior ¿será capaz
de terminar el Cal I al final del semestre actual? (d) ¿Recomienda aplicar la idea del
módulo a otras materias básicas? Explique

Estados:
1= Primer Modulo
2= Segundo Modulo
3= Tercer Modulo
4= Cuarto Modulo
5= Termina el Cal I

(a) Matriz de transición

1 2 3 4 5

1 0.2 0.8 0 0 0

2 0 0.22 0.78 0 0

M= 3 0 0 0.25 0.75 0

4 0 0 0 0.3 0.7

5 0 0 0 0 1

(b) Dividimos la matriz que quede de la forma [𝑁 𝐴 0 𝐼 ]

1 2 3 4 5

1 0.2 0.8 0 0 0

2 0 0.22 0.78 0 0

M= 3 0 0 0.25 0.75 0

4 0 0 0 0.3 0.7

5 0 0 0 0 1
Hallamos la matriz (𝐼 – 𝑁 )−1

(𝐼 – 𝑁 )−1 Mu

1 2 3 4 F

1 1.25 1.282 1.333 1.429 1 5.29

M= 2 0 1.282 1.333 1.429 2 4.04

3 0 0 1.333 1.429 3 2.76

4 0 0 0 1.429 4 1.43

(c) Para poder llevar el Cal II, el estudiante debe terminar en 16 semanas (4
transiciones) o menos. El promedio de transiciones necesarias es de 5.29. Por
consiguiente, un estudiante promedio no será capaz de terminar el Cal I a tiempo
(d) No, ya que los estudiantes en promedio no logran culminar en un semestre.

28. una compañía busca sus clientes por medio de publicidad enviada por correo.
Durante el primer año, la probabilidad de que un cliente realice una compra es de .5, la
cual se reduce a .4 en el año 2, de .3 en el año 3, y de .2 en el año 4. Si no realiza
ninguna compra en cuatro años consecutivos, el cliente es borrado de la lista de correo.
Si hace una compra la cuenta regresa a cero.

(a) Exprese la situación como una cadena de Markov

(b) Determine el número esperado de años que un cliente nuevo permanecerá en la

lista de correo.

(c) Si un cliente no ha realizado una compra en dos años, determine el número esperado
de años que estará en la lista de correo.

Solución:

(a) estados: 0, 1, 2, 3, D (borrar)

MATRIZ P

0 1 2 3 D

00,5 0,5 0 0 0 0

1 0,4 0 0,6 0 0

2 0,3 0 0 0,7 0
 3 0,2 0 0 0 0,8

D 0 0 0 0 1

(b) Un nuevo cliente permanece 12 años en la lista.

MU

0 1 2 3 D

0 5.952 2.976 1.786 1.25 0 12

1 3.952 2.976 1.786 1.25 1 9.96

2 2.619 1.31 1.786 1.25 2 6.96

3 1.19 0.595 0.357 1.25 3 3.39

(c) 6.96 years.

30. Escribir una matriz de transición para una cadena de Markov que tenga un espacio
de estados S =1, 2, 3, 4, 5, 6, 7, 8, 9, donde los estados 1, 4 y 7 forman una clase que
tiene periodicidad 2, los estados 2, 3 y 5 forman una clase aperiódica, el estado 9 es
absorbente y el resto de los estados son transitorios.

[0 0.2 0 0.2 0.3 0 0.1 0.1 0 0.1 0.2 0.3 0.1 0 0 0.3 0 0.2 0 0.2 0 0.2 0 0.2 0.3 0 0 0.1 0.1 0.1 0 0 0 0 0 0 0.2 0 0 0

38. dos switches tienen las posiciones de ON y OFF. En el día n-ésimo, cada switch
actúa independientemente y estará en ON con probabilidad

[1+ número de switches en ON el día (n-1)-ésimo] / 4

En el límite, ¿qué proporción de días están ambos en ON? ¿Y ambos en OFF?

1= on-on
2= on-off
3= off-on
4= off-off

[9/16 3/16 3/16 1/4 1/4 1/4 1/4 1/4 1/4 1/16 1/4 1/4 1/16 3/16 3/16 9/16 ]

40. El Servicio Hidrológico de la Comunidad Autónoma de X planea construir un

embalse para regular la cuenca de uno de sus ríos con el objetivo de satisfacer los
requerimientos de agua para regadío. La capacidad máxima del embalse previsto será de
3
4.000.000 m , o, de manera abreviada 4 unidades de agua (1 unidad de agua = 1.000.000
3
m ).
Antes de proceder a la construcción el Servicio desearía tener alguna idea sobre
la efectividad del mismo a largo plazo. Para ello se ha llevado a cabo un estudio sobre los
volúmenes semanales de agua aportados por el río, encontrándose con que pueden
aproximarse por medio de la siguiente distribución de probabilidad discreta:

Aportación semanal
en unidades de agua 2 3 4 5
--------------------------------------------------------------------------
Probabilidad 0.3 0.4 0.2 0.1

El Servicio está considerando la posibilidad de contratos de regadío que requerirán el

consumo de 2 unidades de agua por semana, pero adicionalmente, para mantener los
estándares de calidad del agua para otros usos, deberá dejar salir al menos 1 unidad de
agua por semana. Por lo tanto el objetivo semanal será dejar salir 3 unidades de agua. Si
el estado del embalse (nivel del embalse) más la aportación de agua del rio es menor que
esta cantidad se tendrá que dejar salir menos agua, afectando la carencia a los regadíos.
Si el embalse está lleno, cualquier exceso será vertido por los aliviaderos. El nivel mínimo
admitido del embalse (estado mínimo) no podrá ser inferior a una unidad de agua.
a) Representar el diagrama de transiciones, encontrar la matriz de
probabilidades de transición, y comprobar que se trata de un proceso
markoviano.
 b) ¿Cuál será el número medio de semanas transcurrido desde que el embalse
se encuentra en el estado con 2 unidades de agua hasta que esté
totalmente lleno?
c) Supuesto el embalse en el estado mínimo con 1 unidad de agua, ¿Cuantas
semanas tardará, en promedio, en volver a estar en la misma situación?
d) Suponiendo que la primera semana partimos de una situación en la que se
embalsaban 3 unidades de agua ¿Cuál es la probabilidad de que dos
semanas después se encuentre al mínimo?

Solución

a. S= 1, 2, 3, 4

0,7 0,3 0,4

1 2

0,1

0,2 0,3

0,1

4 3
0,4

0,7 0,3

Matriz de probabilidades de transición

1 2 3 4

1 0,7 0,2 0,1 0

M= 2 0,3 0,4 0,2 0,1

 3 0 0,3 0,4 0,3

4 0 0 0,3 0,7

La cadena de markov es finita y ergódica

El sistema de ecuación lineal =PM quedaría así:

(P1, P2, P3, P4) = (P1, P2, P3, P4) M T

P1 = 0,7P1 + 0,3P2 (1)

P2 = 0,2P1 + 0,4P2+0,3P3 (2)

P3 = 0,1P1 + 0,2P2 + 0,4P3 + 0,3P4 (3)

P4 = 0,1P2 + 0,3P3 + 0,7P4 (4)

P1 + P2 + P3 + P4 = 1 (5)

Resolviendo observamos que:

P1 = 0,3P2 / 0,3 por lo tanto P1 = P2

Luego la solución final es:

1 1 4 1
P1 = 5 , P2= 5, P3=15, P4= 3

b. TIEMPO

1
T11 = 1/ 5 = 5

1
T22 = 1/ 5 = 5

4
T33 = 1/ 15 = 3,75

1
T11 = 1/ 3 = 3

c. Según las ecuaciones de Chapman-Kolmogorov, se trata de calcular uno de los

elementos de M2 :
(2)
M31 = 0* 0,7+ 0,3* 0,3+ 0,4 *0+ 0,3* 0 =0,09
42. Una máquina tiene dos piezas colocadas en paralelo de manera que para funcionar
utiliza solo una de ellas, quedando la otra de repuesto para reemplazar a la que trabaja
cuando esta se estropea, si está en condiciones de trabajar. Las piezas trabajan de
manera que se estropean durante un periodo de tiempo dado con una probabilidad q.
Supongamos que la pieza que está trabajando, en caso de que se
estropee, lo hace al final de un periodo, de manera que la pieza de repuesto empieza
a trabajar, si está en condiciones de hacrlo, al principio del periodo siguiente. Hay
un ínico mecánico para reparar las piezas estropeadas, que tarda dos periodos en
reparar una pieza estropeada.
El proceso puede describirse mediante un vector Xt de dos componentes
U y V, donde U representa el número de piezas hábiles, trabajando o en condiciones
de trabajar, al final del periodo t-ésimo, y V toma el valor 1 si el mecánico requier
únicamente un periodo adicional para completar una reparacion, si ya está
procediendo a ella, y 0 en caso contrario. Por lo tanto, el espacio de estados consta
de cuatro estados:
(2,0), (1,0), (0,1), y (1,1)
(Por ejemplo, el estado (1,1) implica que una componente opera y la otra necesita
un periodo adicional para acabar de ser reparada).
Denotemos los cuatro estados por 0,1,2 y 3 respectivamente (Es decir Xt = 0 quiere

decir Xt = (2,0), por ejemplo).

a) Comprobar que , t=0,1,2,......, es una cadena de Markov.

Describir el diagrama de transiciones y hallar la matriz de probabilidades

de transición.
b) Hallar la distribución de probabilidad del estado estacionario.

Estados (1, 2, 3, 4)

a)

1 2 3 4
1 1-q q 0 0
2 0 0 q 1-q
3 0 1 0 0
4 1-q q 0 0

M=
44) Sea X(t), t = 0, 1, 2, … una cadena de markov cuya matriz de probabilidades de
transición es:

P= ■(4/8&2/8&2/8@3/10&5/10&2/10@1/3&1/3&1/3)

y además: P{X(0) =1} = 1

Supongamos que:
Y(t) = 1, si X(t) = 1
Y(t) = 2, si X(t) = 1
Demostrar que Y(t), t = 0, 1, 2, … es también una cadena de markov. Encontrar su matriz
de probabilidades de transición.
Solución:
Bj = (P1 + P2 + P3) * ■(4/8&2/8&2/8@3/10&5/10&2/10@1/3&1/3&1/3)

4/8P1 + 3/10P2 + 1/3P3 = P1

2/8P1 + 5/10P2 + 1/3P3 = P2
2/8P1 + 2/10P2 + 1/3P3 = P3
P1 + P2 + P3 = 1
P1 = 0,3855
P2 = 0,3614
P3 = 0,2530
Y(t) = 1, si X(t) = 1
Y(t) = 2, si X(t) = 1
1 2
1 0,38 0,62
2 0,62 0,38

B) Estados: {1-2-3-4-5-6}
1 2 3 4 5 6
1 0 ¼ ¼ ¼ ¼ 0
2 ¼ 0 ¼ ¼ 0 ¼
3 ¼ ¼ 0 0 ¼ ¼
4 ¼ ¼ 0 0 ¼ ¼
5 ¼ 0 ¼ ¼ 0 ¼
6 0 ¼ ¼ ¼ ¼ 0

¼P2 + ¼P3 + ¼P4 + ¼P5 = P1

¼P1 + ¼P3 + ¼P4 + ¼P6 = P2
¼P1 + ¼P2 + ¼P5 + ¼P6 = P3
¼P1 + ¼P2 + ¼P5 + ¼P6 = P4
¼P1 + ¼P3 + ¼P4 + ¼P6 = P5
¼P2 + ¼P3 + ¼P4 + ¼P5 = P6
P1 + P2 + P3 + P4 + P5 + P6 = 1

C) 1 2 3
1 1/10 81/100 9/100
2 0 1 0
3 0 0 1

46. Después de lanzar un dado apareció el resultado "seis". Luego se hace girar para
que salga alguna de las cuatro caras vecinas, al azar. De esta manera se hacen giros
sucesivos. Hallar el límite de la probabilidad de que vuelva a salir el seis, si el número
de giros tiende a infinito.

ESTADOS (A, B, C, D)

A B C D
A 0,25 0,25 0,25 0,25
M = B 0,25 0,25 0,25 0,25
C 0,25 0,25 0,25 0,25
D 0,25 0,25 0,25 0,25

Mn Siempre será igual

Probabilidad que sea 6 es 0.25

48. En la urna 1 tenemos 9 bolas blancas y 1 bola negra. En la urna 2 tenemos 9 bolas
negras y una blanca. Extraemos una bola al azar de la urna 1. Si es negra, la
regresamos a la urna. Si es blanca, la cambiamos por otra bola de la urna 2 que se
extrae al azar.

Sea x(t), t = 0, 1, 2… el número de bolas en la urna 1 después de cada experimento.

a. Demostrar que x(t) es una cadena de Markov.

b. Dibujar el gráfico de estados.
c. Hallar la distribución límite.

Solución:

a. X(t) es una cadena de Markov ya que el color de las pelota que se vaya a sacar
de alguna de las dos urnas dependerá del suceso que haya ocurrido
anteriormente. Es decir, que el estado futuro del proceso Xn depende solo del
estado presente Xn-1 y es independiente de los estados pasados.

b.

8/10 B

9/10 B

P 1/10 N

9/10 B

1/10 N

1/10 N
50. juan y pedro tienen 2 monedas cada uno, se disponen a enfrentar un juego en que, en cada
oportunidad, cada jugador lanza una moneda de sus monedas. Si ambas coinciden,
gana Juan y se queda con la moneda de Pedro. En caso contrario, gana Pedro. El juego
termina cuando uno de los jugadores gana las 4 monedas.
a) Obtenga la distribución de probabilidades del número de jugadas necesarias
hasta que Juan logre tener 3 monedas por primera vez.
b) Explique cómo obtendría la distribución de probabilidades del número de jugadas
hasta que el juego termina

Sea X n : nº de monedas de Juan.

a.- Se debe encontrar Fk 2,3 que corresponde a la probabilidad de que se vaya por
primera vez del estado 2 a estado 3 en un número k de etapas. Por lo tanto:

Fk 2,3  ??

Para obtener esta probabilidad se debe construir el modelo detalladamente, es decir

encontrar el rango de X n , la matriz M y opcionalmente el gráfico de red.

  0,1,2,3,4
Rango de la variable de estado X n : X n ,

1 0 0 0 0
1 0 1 0 0
2 2
0 1 0 1 0
2 2
0 0 1 0 1
2 2
M= 0 0 0 0 1

Gráfico:

1 0,5 0,5 0,5

1

0 0,5 1 0,5 2 0,5 3 4

Entonces
F1 2,3  F3 2,3  p 21 p12 p 23 
1 111 1

2 ; F2 2,3  0 ; 222 8 ; F4 2,3  0

2
1 1 1
F5 2,3  ( p 21 p12 ) p 23
2
 
2 2 2

Término general:

k 1

Fk 2,3  ( p21 p12 ) 2

; k  2,4,6,...( par)

b.- El juego termina cuando se llega a que Juan tiene 0 ó 4 monedas. Lo que se pregunta
entonces, es la probabilidad de que ocurra alguno de estos dos eventos, que son
excluyentes. Además Juan tiene al inicio del juego 2 monedas. Luego lo que se pregunta
es:


 Fk 2,0  Fk 2,4
k 2

Del estado 2 al estado 0 y al estado 4 se puede llegar en etapas múltiplos de 2

solamente. Luego:

k k
1 1 1
Fk 2,0      ; k  2,4,6,...
 2 2  4
k k
1 1 1
Fk 2,4      ; k  2,4,6,...
 2 2  4
2j 2j j 2j

1
 
1 
1 
1
 Fk 2,0  Fk 2,4                
k 2 j 1  4  j 1  4  j 1  16  j 1  16 
par
 j 0 j 0

1 1 
 1  1 1 1 16 16
  
j  0  16 
          1 1  1 1 
 16  j 0  16   4  1  1 1
1 15 15
16 16
1 1 2
 
15 15 15