Cadenas de Markov

Investigación de Operaciones 2, Unidad 1

Ing. Eduardo López Sandoval
pcinelop@upc.edu.pe
Contenido

• ¿Qué es un proceso estocástico?

• ¿Qué es una cadena de Markov?
• Clasificación de estados en una cadena de Markov
• Probabilidades de estado estable y tiempos promedios de primer
paso.
• Cadenas absorbentes
¿Qué es un proceso estocástico?
• Video: https://www.youtube.com/watch?v=pxNVCCgFx1o
• Es una colección indexada de variables aleatorias {Xt}, donde el índice t toma
valores de un conjunto T dado. Con frecuencia T se considera el conjunto de
enteros no negativos mientras que Xt representa una característica de interés
cuantificable en el tiempo t.
• Los procesos estocásticos son de interés para describir el comportamiento de un
sistema en operación durante algunos periodos. Un proceso estocástico tiene la
siguiente estructura:
• La condición actual del sistema puede estar en una de S + 1 categorías mutuamente
excluyentes llamadas estados. Por conveniencia en la notación, estos estados se etiquetan 0,
1, 2, . . ., S.
• La variable aleatoria Xt representa el estado del sistema en el tiempo t, de manera que sus
únicos valores posibles son 0, 1, . . ., S.
• El sistema se observa en puntos del tiempo dados, etiquetados como: t = 0, 1, 2,…, T.
• De esta forma, los procesos estocásticos {Xt} = {X0, X1, X2, . . .} proporcionan una
representación matemática de la forma en que evoluciona la condición del sistema físico a
través del tiempo.
 Ejemplo 1: Control policial en la Carretera
Central
• Cada 10 minutos, se observa el
número de vehículos detenidos en el
retén policial en un punto de la
Carretera Central. No pueden haber
más de 3 vehículos en el retén.
• ¿Cuál es la variable aleatoria que se está
observando?
• ¿Cuáles son sus estados posibles?
• ¿Cada cuánto se hace la observación?
 Solución:

• ¿Cuál es la variable aleatoria que se está

observando?
• Xt: Cantidad de vehículos detenidos en el retén
policial en el instante de tiempo t
• ¿Cuáles son sus estados posibles?
• Estados: Son los valores posibles de Xt.
• S = 0, 1, 2, 3
• ¿Cada cuánto se hace la observación?
• Cada 10 minutos.
• Es decir: t = 0 (hora actual), 1 (Al minuto 10), 2 (Al
minuto 20), 3 (Al minuto 30), …
 Ejemplo 2: Mantenimiento preventivo de
un motor eléctrico
• La ficha técnica del motor eléctrico de una
máquina crítica en una fábrica, indica que
semanalmente se debe medir la vibración.
Los resultados posibles de la medición
son: En buenas condiciones, requiere
reparación menor o requiere reparación
mayor.
• ¿Cuál es la variable aleatoria que se está
observando?
• ¿Cuáles son sus estados posibles?
• ¿Cada cuánto se hace la observación?
 Solución:
• ¿Cuál es la variable aleatoria que se está
observando?
• Xt: Resultado de la medición de la vibración en un motor
eléctrico en la semana t
• ¿Cuáles son sus estados posibles?
• S = 0 (Buenas Condiciones), 1 (Requiere reparación
menor), 2 (Requiere reparación mayor).
• También se puede expresar así: S = BC (Buenas
condiciones), RME (Requiere reparación menor), RMA
(Requiere reparación mayor).
• ¿Cada cuánto se hace la observación?
• Cada semana.
• Es decir: t = 0 (semana actual), 1 (semana 1), 2 (semana
2), 3 (semana 3), …
 Ejemplo 3: “La ruina del jugador”

• Suponga que Juan y un contrincante

deciden jugar cartas hasta que uno de los
dos se quede sin dinero. Inicialmente,
cada uno posee $2. Después de cada
juego, el perdedor le paga al ganador $1
(si hay empate no hay pago). Juan está
interesado en saber cuánto dinero tiene
luego de una cierta cantidad de juegos.
• ¿Cuál es la variable aleatoria que se está
observando?
• ¿Cuáles son sus estados posibles?
• ¿Cada cuánto se hace la observación?
 Solución:

• ¿Cuál es la variable aleatoria que se está

observando?
• Xt: Cuánto dinero (en $) tiene Juan luego de t
juegos.
• ¿Cuáles son sus estados posibles?
• S = 0, 1, 2, 3, 4.
• ¿Cada cuánto se hace la observación?
• Cada vez que culmina un juego.
• Es decir: t = 0 (luego de 0 juegos), 1 (luego de 1
juego), 2 (luego de 2 juegos), 3 (luego de 3
juegos), …
 Ejemplo 4: “Preferencias de un
consumidor”
• Suponga que en el mercado se venden 2
marcas de un cierto producto: Marca A, y
Marca B; cada mes los clientes escogen
qué marca comprar y no necesariamente
hay fidelidad con una marca en especial.
• ¿Cuál es la variable aleatoria que se está
observando?
• ¿Cuáles son sus estados posibles?
• ¿Cada cuánto se hace la observación?
 Solución:

• ¿Cuál es la variable aleatoria que se está

observando?
• Xt: Marca que prefiere un consumidor en el mes
t.
• ¿Cuáles son sus estados posibles?
• S = A, B.
• ¿Cada cuánto se hace la observación?
• Mensualmente.
• Es decir: t = 0 (mes actual), 1 (mes 1), 2 (mes 2),
3 (mes 3), …
¿Qué es una cadena de Markov?
• Un proceso estocástico es una cadena de Markov, si un estado futuro solo
depende del estado inmediatamente anterior.
• Se dice que un proceso estocástico {Xt} tiene la propiedad Markoviana si P{Xt+1 = j |
X0 = k0 , X1 = k1 , … , Xt–1 = kt–1, Xt = i} = P{Xt+1 = j | Xt = i}, para t = 0, 1, … y toda
sucesión i, j, k0 , k1 , … , kt–1.
• Esta propiedad markoviana establece que la probabilidad condicional de
cualquier estado futuro dados cualquier estado pasado y el estado actual Xt
= i, sólo depende del estado actual del proceso.
• Las probabilidades condicionales P{Xt+1 = j | Xt = i} de una cadena de
Markov se llaman probabilidades de transición (de un paso). Si para cada i
y j, P{Xt+1 = j | Xt = i} = P{X1 = j | X0 = i}, para toda t = 1, 2, … , entonces se
dice que las probabilidades de transición (de un paso) son estacionarias.
• Así, tener probabilidades de transición estacionarias implica que las
probabilidades de transición (de un paso) no cambian con el tiempo.
 Ejemplo: “Preferencias de un consumidor”
• Suponga que en un mercado meta compiten dos marcas de un cierto producto:
marca A y marca B. Se sabe que 40% de los clientes que actualmente consumen la
marca A, son fieles a la marca en el siguiente mes y el resto cambia de marca.
Asimismo, 30% de los clientes que actualmente consumen la marca B son fieles a la
marca en el siguiente mes y el resto cambia de marca.
• Es decir:
• P(Ames1|Ames0) = 0.4; P(Bmes1|Ames0) = 0.6; P(Bmes1|Bmes0) = 0.3; P(Ames1|Bmes0) = 0.7
• Para que este proceso estocástico sea una Cadena de Markov:
• P(Ames2|Ames1) = 0.4; P(Bmes2|Ames1) = 0.6; P(Bmes2|Bmes1) = 0.3; P(Ames2|Bmes1) = 0.7
• …
• P(Ames8|Ames7) = 0.4; P(Bmes8|Ames7) = 0.6; P(Bmes8|Bmes7) = 0.3; P(Ames8|Bmes7) = 0.7
• Generalizando:
• P(Ames(t+1)|Ames(t)) = 0.4; P(Bmes(t+1)|Ames(t)) = 0.6; P(Bmes(t+1)|Bmes(t)) = 0.3; P(Ames(t+1)|Bmes(t)) = 0.7
Diagrama de transición

• Debido a que las probabilidades de transición son estacionarias, las

cadenas de Markov pueden representarse gráficamente mediante un
Diagrama de Transición.
• En el ejemplo anterior: P(Ames(t+1)|Ames(t)) = 0.4; P(Bmes(t+1)|Ames(t)) =
0.6; P(Bmes(t+1)|Bmes(t)) = 0.3; P(Ames(t+1)|Bmes(t)) = 0.7; el diagrama de
transición respectivo es:
0.6

0.4 A B 0.3

0.7
• La existencia de probabilidades de transición (de un paso) estacionarias
también implica que:
• P{Xt+n = j | Xt = i} = P{Xn=j | X0=i} i; j; n = 0, 1, 2,…; t = 0, 1,…
• Estas probabilidades condicionales se llaman probabilidades de transición
de n pasos.
• Para simplificar la notación de las probabilidades de transición
estacionarias se denotará:
• Pij = P{Xt+1 = j | Xt = i} i; j; t = 0, 1,…
• Pij(n) = P{Xt+n = j | Xt = i} i; j; n = 0, 1, 2,…; t = 0, 1,…
• Asi, las probabilidades de transición de n pasos Pij(n) son simplemente la
probabilidad condicional de que el sistema se encuentre en el estado j
exactamente después de n pasos (unidades de tiempo), dado que comenzó
en el estado i en cualquier tiempo t.
• Propiedades:
• Pij(n) ≥ 0 i; j; n = 0, 1, 2,…
(𝒏)
• σ𝑴𝒋=𝟎 𝒊𝒋 = 𝟏 i; n = 0, 1, 2,…
𝑷
• Una notación conveniente para representar las probabilidades de
transición de n pasos es la Matriz de transición de n pasos:

𝐸𝑠𝑡𝑎𝑑𝑜 0 1 … 𝑀
(𝑛) (𝑛) (𝑛)
0 𝑃00 𝑃01 … 𝑃0𝑀
(𝑛) (𝑛) (𝑛)
• 𝑷𝒏 = 1 𝑃10 𝑃11 … 𝑃1𝑀
⋮ … … … …
(𝑛) (𝑛) (𝑛)
𝑀 𝑃𝑀0 𝑃𝑀1 … 𝑃𝑀𝑀
• Cuando n = 1, el superíndice n no se escribe y se hace referencia a
ésta como una matriz de transición.
• Las cadenas de Markov que estudiaremos tienen las siguientes
propiedades:
• Los estados son finitos.
• Las probabilidades de transición son estacionarias.
• Se conocen las probabilidades iniciales P{X0 = i} i
Clasificación de estados en una Cadena de
Markov
• Estados transitorios
• Un estado i es transitorio si y solo si existe un estado j (j ≠ i) que es accesible
desde el estado i; pero el estado i no es accesible desde el estado j.
• Estados recurrentes
• Un estado es recurrente si y solo si no es transitorio.
• Un estado recurrente podría ser visitado un número infinito de veces si el
proceso continúa por siempre.
• Estados absorbentes
• Un estado k recurrente es además absorbente si, después de haber entrado
a él, ya no se puede salir del mismo. Es decir: 𝑷𝒌𝒌 = 𝟏
• Estados periódicos
• Un estado i es periódico con período k > 1, si k es el número más pequeño tal
que todos los caminos que parten del estado i y regresan al mismo estado i,
tiene una longitud que es múltiplo de k.
• Conjunto de estados cerrados
• Dada una cadena de Markov, un conjunto de estados C es cerrado si cualquier
estado dentro de C es accesible desde cualquier otro estado de C y ningún
otro estado fuera de C puede ser accesible desde cualquier estado dentro de
C.
• Cadena Ergódica
• Una cadena de Markov es ergódica si todos sus estados son recurrentes y no
son periódicos.
Ejemplo 1:

• La matriz de transición de una cadena de Markov es la siguiente:

1 2 3 4 5 6
1 0.5 0.5 0 0 0 0
2 0.25 0.75 0 0 0 0
3 0.25 0.25 0.25 0.25 0 0
P= 4 0.25 0 0.25 0.25 0 0.25
5 0 0 0 0 1 0
6 0 0 0 0 0.5 0.5

• Elabore el diagrama de transición correspondiente y clasifique cada

uno de los estados. Asimismo, indique si la cadena es ergódica.
 Solución:

• El Diagrama de Transición es el • Estados Transitorios: 3, 4, 6; porque existe

siguiente: al menos un camino que no permite
0.25 retornar al mismo estado.
0.5 1 2 0.75
• Estados Recurrentes: 1, 2, 5; porque no
son transitorios.
0.5
• Estados Absorbentes: 5, porque P55 = 1
0.25 0.25
0.25 • Estados periódicos: Ninguno
0.25 4 3 0.25 • Conjunto de estados cerrados: {1,2} y {5}
0.25 porque al ingresar a dicho conjunto, ya no
0.25 se puede salir de él.
• La cadena no es ergódica porque tiene al
0.5 6 5 1 menos un estado transitorio.
0.5
 Ejemplo 2:

• Sea el siguiente diagrama de • Estados Transitorios: 1, 2, 3; porque existe al menos

un camino que no permite retornar al mismo
transición de una cadena de estado.
Markov: 1
• Estados Recurrentes: 4, 5, 6; porque no son
1 2 0.4 transitorios.
• Estados Absorbentes: Ninguno.
0.6
0.1 • Estados periódicos: 4, 5, 6. Por ejemplo: Al llegar al
0.4
estado 4, es 100% seguro que luego de k = 3
4 3 transiciones, el proceso retorna al estado 4 (lo
mismo ocurre si se llega al estado 5 o al estado 6)
1 1 0.5 • Conjunto de estados cerrados: {4,5,6} porque al
ingresar a dicho conjunto, ya no se puede salir de él.
6 5 • La cadena no es ergódica porque tiene al menos un
1
estado transitorio.
Probabilidades de estado estable y tiempos
promedios de primer paso
• En toda cadena de Markov ergódica, al calcular la matriz de transición de n
pasos, llega un momento en que todos los renglones de la matriz tendrán
los elementos idénticos.
• Es decir, la probabilidad de que el sistema esté en el estado j ya no
dependerá del estado inicial del sistema. Es decir:
(𝒏)
• 𝐥𝐢𝐦 𝑷𝒊𝒋 = 𝝅𝒋
𝒏→∞
• 𝝅𝒋 = σ𝑴𝒊=𝟎 𝝅𝒊 × 𝑷𝒊𝒋 ∀𝒋 = 𝟎, 𝟏, … , 𝑴
• σ𝑴
𝒋=𝟎 𝝅𝒋 = 𝟏
• El tiempo promedio de primer paso de un estado i (𝝁𝒊𝒊 ) es el número
esperado de transiciones hasta que el proceso regrese nuevamente al
𝟏
estado i; y se calcula así: 𝝁𝒊𝒊 =
𝝅𝒊
Cadenas absorbentes

• Una cadena de Markov es absorbente si alguno de sus estados son

absorbentes y el resto de estados son transitorios.
• Dada una cadena de Markov absorbente, el objetivo es determinar la
probabilidad que, en el largo plazo, cada estado transitorio termine
siendo absorbido por un estado absorbente.
• Procedimiento:
• Sea una cadena de Markov absorbente de s estados, de los cuales m estados
son absorbentes (s > m)
• La matriz de transición debe escribirse de la siguiente manera:
• Luego se calcula la matriz fundamental de la cadena, la cual
representa cuántos periodos se espera permanecer en un estado
transitorio antes que ocurra la absorción:
• Matriz fundamental = (I – Q) –1
• Finalmente, se calcula la probabilidad de que cada estado transitorio
termine siendo absorbido por un estado absorbente:
• (I – Q) –1 x R