Introduccin a las Cadenas o

Procesos de Markov
Juan Antonio del Valle F.
Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra un evento
depende del evento inmediato anterior. En efecto, las cadenas de este tipo tienen memoria,
"Recuerdan" el ltimo evento y esto condiciona las posibilidades de los eventos futuros. Esta
dependencia del evento anterior distingue a las cadenas de Markov de las series de eventos
independientes, como tirar una moneda al aire o un dado. En los negocios, las cadenas de Markov
se han utilizado para analizar los patrones de compra,los deudores morosos, para planear las
necesidades de personal y para analizar el reemplazo de equipo. El anlisis de Markov, llamado
as en honor de un matemtico ruso que desarrollo el mtodo en 1907, permite encontrar la
probabilidad de que un sistema se encuentre en un estado en particular en un momento dado. Algo
ms importante an, es que permite encontrar el promedio a la larga o las probabilidades de
estado estable para cada estado. Con esta informacin se puede predecir el comportamiento del
sistema a travs del tiempo. La tarea ms difcil es reconocer cundo puede aplicarse. La
caracteristica ms importante que hay que buscar en la memoria de un evento a otro.
Considere el problema siguiente: la compaa K, el fabricante de un cereal para el desayuno, tiene
un 25% del mercado actualmente. Datos del ao anterior indican que el 88% de los clientes de K
permanecan fieles ese ao, pero un 12% cambiaron a la competencia. Adems, el 85% de los
clientes de la competencia le permanecan fieles a ella, pero 15% de los clientes de la competencia
cambiaron a K. Asumiendo que estas tendencias continen determine cual es la parte que K

aprovecha del mercado?:

a. en 2 aos; y
b. en el largo plazo.
Esta situacin es un ejemplo de un problema de cambio de marcas que sucede muy a menudo que
se presenta en la venta de bienes de consumo.
Para resolver este problema hacemos uso de cadenas de Markov o procesos de Markov (qu es
un tipo especial de proceso estocstico). El procedimiento se da enseguida.

Procedimiento de solucin
Observe que, cada ao, un cliente puede estar comprando cereal de K o de la competencia.
Podemos construir un diagrama como el mostrado abajo donde los dos crculos representan a los
dos estados en que un cliente puede estar y los arcos representan la probabilidad de que un cliente
haga una cambio cada ao entre los estados. Note que los arcos curvos indican una "transicin" de
un estado al mismo estado. Este diagrama es conocido como el diagrama de estado de transicin
(notar que todos los arcos en ese diagrama son arcos dirigidos).

Dado ese diagrama nosotros podemos construir la matriz de la transicin (normalmente denotada
por el smbolo P) la qu nos dice la probabilidad de hacer una transicin de un estado a otro
estado. Sea:
estado 1 = cliente que compra cereal de K y
estado 2 = cliente que compra cereal de la competencia
tenemos as la matriz de transicin P para este problema, dada por
Para estado 1 2
Del estado 1 | 0.88 0.12 |
2 | 0.15 0.85 |
Note aqu que la suma de los elementos en cada fila de la matriz de la transicin es uno.
Por datos de este ao sabemos que actualmente K tiene un 25% del mercado. Tenemos que la fila
de la matriz que representa el estado inicial del sistema dada por:
Estado
12
[0.25, 0.75]
Normalmente denotamos esta fila de la matriz por s1 indicando el estado del sistema en el primer
periodo (aos en este ejemplo en particular). Ahora la teora de Markov nos dice que, en periodo
(ao) t, el estado del sistema est dado por el st de la fila de la matriz, donde:
st = st-1(P) =st-2(P)(P) = ... = s1(P)t-1
Tenemos que tener cuidado aqu al hacer la multiplicacin de la matriz ya que el orden de clculo
es importante (i.e. st-1(P) no es igual a (P)st-1 en general). Para encontrar st nosotros podramos
intentar hallar P directamente para la potencia t-1 pero, en la prctica, es mucho ms fcil de
calcular el estado del sistema en cada sucesivo ao 1,2,3 ,..., t.
Nosotros ya sabemos el estado del sistema en el ao 1 (s1) tal que el estado del sistema en el ao
dos (s2) est dado por:

s2 = s1P
= [0.25,0.75] |0.88 0.12 |
........|0.15 0.85 |
= [(0.25)(0.88) + (0.75)(0.15), (0.25)(0.12) + (0.75)(0.85)]
= [0.3325, 0.6675]
Note que este resultado tiene sentido intuitivo, e.g. del 25% comprando actualmente al cereal de K,
88% continan haciendolo, aunque del 75% comprando el cereal del competidor 15% cambia a
comprar cereal de K - dando un (fraccin) total de (0.25)(0.88) + (0.75)(0.15) = 0.3325 comprando
cereal de K.
De lo anterior, en el ao dos 33.25% de las personas estn en estado 1 - esto es, est comprando
cereal de K. Note aqu que, como un chequeo numrico, los elementos de st deben sumar siempre
uno.
En el ao tres el estado del sistema se da por:
s3 = s2P
= [0.3325, 0.6675] |0.88 0.12 |
............... |0.15 0.85 |
= [0.392725, 0.607275]
Por lo tanto en el ao tres 39.2725% de las personas estn comprando al cereal de K.
Recalcar que est pendiente la cuestin hecha sobre la porcin que K comparte del mercado en el
largo plazo. Esto implica que necesitamos calcular st cuando t se hace muy grande (se acerca al
infinito).
La idea de la largo plazo es basada en la suposicin de que, en el futuro, el sistema alcance un
"equilibrio" (a menudo llamado el "estado sustentable") en el sentido de que el st = st-1. sto no
quiere decir que las transiciones entre estados no tengan lugar, suceden, pero ellos tienden "al
equilibrio global" tal que el nmero en cada estado permanece el mismo.
Hay dos enfoques bsicos para calcular el estado sustentable:
Computational: - encontrar el estado sustentable calculando st para t=1,2,3,... y se detiene cuando
st-1 y st son aproximadamente el mismo. Esto es obviamente muy fcil para una computadora y
este es el enfoque usado por un paquete computacional.
Algebraico: - para evitar clculos aritmticos largos necesarios para calcular st para t=1,2,3,...
tenemos un atajo algebraico que puede usarse. Recalcar que en el estado sustentable st = st-1 (=
[x1,x2] para el ejemplo considerado anteriormente). Entonces como st = st-1P tenemos eso
[x1,x2] = [x1,x2] | 0.88 0.12 |

.............| 0.15 0.85 |

(y tambin notar que x1 + x2 = 1). De esto tenemos tres ecuaciones que podemos resolver.
Note aqu que hemos usado la palabra suposicin anteriormente. Esto es porque no todos los
sistemas alcanzan un equilibrio, esto es, no cualquier sistema tiene matriz de transicin
|01|
|1 0 |
nunca alcanza un estado sustentable.
Adoptando el enfoque algebraico anteriormente para el ejemplo del cereal K tenemos las tres
ecuaciones siguientes:
x1 = 0.88x1 + 0.15x2
x2 = 0.12x1 + 0.85x2
x1 + x2 = 1
o
0.12x1 - 0.15x2 = 0
0.12x1 - 0.15x2 = 0
x1 + x2 = 1
Note que la ecuacin x1 + x2 = 1 es esencial. Sin lla no podramos obtener una nica solucin
para x1 y x2. Resolviendo conseguimos x1 = 0.5556 y x2 = 0.4444
Por lo tanto, en la largo plazo, K comercializa una porcin del mercado del 55.56%.
Un chequeo numrico til (particularmente para problemas ms grandes) es sustituir el examen
final calculando los valores en las ecuaciones originales para verificar que ellos son consistentes
con esas ecuaciones.

Paquete de Computo para la solucin

El problema anterior se resolvi usando un paquete, la entrada se muestra abajo.
Datos de entrada del Problema del cereal de K (Iniciales Probabilidades de Estado)
1: 0.2500 2: 0.7500
Datos de entrada del Problema del cereal de K (Matriz de Probabilidades de Transicin) Pg 1
.......De ...........A

1 1: 0.8800 2: 0.1200
2 1: 0.1500 2: 0.8500
El rendimiento se muestra debajo. Aunque el paquete puede usarse para calcular y desplegar st
(para cualquier valor de t) no hemos querido mostrar esto.
En el rendimiento mostrado abajo de la nota:
las probabilidades de estado sustentables (se necesitaron 38 iteraciones antes de que st-1
y st fueran aproximadamente el mismo). Estas figuras son como se calcularon antes.
periodo recurrente para cada estado - stos son el nmero esperado de periodos que pasarn para
que una persona en un estado est de nuevo en ese estado (esto es, esperaramos que hubieran
1.80 periodos (en promedio) entre que una persona que compra el cereal de K y su prxima
compra de cereal de K).
Iteracin final--las Iteraciones Totales = 38
1: 0.5556 2: 0.4444
Periodo recurrente para Cada Estado
1: 1.80 2: 2.25

Datos
Note aqu que los datos que pueden necesitarse para deducir las probabilidades de transicina,
pueden a menudo fcilmente encontrarse, hoy en da . Por ejemplo se colectar tales datos por
marca del consumidor que cambia, inspeccionando a los clientes individualmente. Sin embargo hoy
da, muchos supermercados tienen sus propias "tarjetas de lealtad" qu son registradas a travs de
inspecciones al mismo tiempo que un cliente hace sus compras en la caja. stos proporcionan una
masa de informacin detallada sobre el cambio de marca, as como tambin otra informacin - por
ejemplo el efecto de campaas promocionales.
Debe estar claro que las probabilidades de transicin no necesitan se consideradas como nmeros
fijos - ms bien ellas son a menudo nmeros que podemos influenciar/cambiar.
Tambin note que la disponibilidad de tales datos permite modelos ms detallados, al ser
construidos. Por ejemplo en el caso del cereal, la competencia fue representado por slo un
estado. Con datos ms detallados ese estado pudiera ser desagregado en varios estados
diferentes - quiz uno para cada marca competidora del cereal. Tambin podramos tener modelos
diferentes para segmentos diferentes del mercado - quiz el cambio de marca es diferente en
reas rurales del cambio de marca en reas urbanas, por ejemplo. Las familias con nios
constituiran otro segmento importante del mercado obviamente.

Comentarios
Cualquier problema para el que puede obtenerse un diagrama de transicin de estado y que usa el
enfoque dado puede analizarse.

Las ventajas y desventajas de usar teora de Markov incluyen:

Teora de Markov es simple de aplicar y entender.

Clculos de sensibilidad ( contestar las preguntas "qu-si") se llevan a cabo fcilmente.

La teora de Markov nos da con el tiempo una visin de los cambios en el sistema.

P puede ser dependiente del estado actual del sistema. Si P es dependiente tanto del
tiempo y del estado actual del sistema i.e., P es una funcin de t y st, entonces la ecuacin
de Markov bsica se vuelve st=st-1P(t-1,st-1).

La teora de Markov es un modelo simplificado de un proceso de toma de decisin

complejo.

Aplicaciones
Una aplicacin interesante de procesos de Markov que yo conozco es la industria costera noruega
del petroleo/gas. En Noruega un cuerpo estatal, el Consejo de administracin de Petrleo noruego,
(junto con la compaa de aceite estatal noruega (STATOIL)), tienen un papel grande en la
planeacin de los medios para el desarrollo costero del petroleo/gas.
El problema esencial que el Consejo de la administracin del Petrleo noruego tiene, es cmo
planear la produccin para aumentar al mximo su contribucin en el tiempo a la economa
noruega. Aqu los horizontes de tiempo son muy largos, tpicamente 30 a 50 aos. De importancia
crtica es el precio del aceite - todava nosotros no podemos prever esto, sensiblemente con
exactitud, para esta horizonte de planeacin.
Para superar este problema ellos modelan el precio del aceite como un proceso de Markov con tres
niveles de precio (estados), correspondiendo a escenarios optimista, probable y pesimista. Ellos
tambin especifican las probabilidades de hacer una transicin entre los estados cada periodo de
tiempo (ao). Pueden usarse matrices de transicin diferentes para horixzontes de tiempo
diferentes ( matrices diferentes para el cercano, medio y futuro lejano).
Aunque ste simplemente es un enfoque simple, tiene la ventaja de capturar la incertidumbre sobre
el futuro en un modelo que es relativamente fcil de entender y aplicar.
Estudios sobre el modelado de la poblacin (donde nosotros tenemos objetos con "edad") tambin
son una aplicacin interesante de procesos de Markov.
Un ejemplo de esto sera el modelado el mercado del automvil como un proceso de Markov para
prever la "necesidad" de nuevos automviles cuando los automviles viejos puedan extnguirse.
Otro ejemplo sera modelar el progreso clnico de un paciente en hospital como un proceso de
Markov y ver cmo su progreso es afectado por rgimenes de droga diferentes.

Probabilidades de estado establePresentation Transcript

1. Es conveniente saber como se comporta el sistema, despus de cierto
tiempo. Para el caso discreto, se utiliza el vector fila de probabilidades: (m) =
|p1 (m), p2 (m), p3 (m), ...
2. De esta manera se tiene que : (m + n) = (n) [P ]m
3. El cual define una relacin de recurrencia, la cual permite conocer la
evolucin del vector de probabilidad de estado en el instante m, conociendo el
vector de probabilidad inicial, haciendo n=0 de la siguiente forma: m = (0)
[P ]m = = (m 2) [P ]2 = (m 1) [P ]
4. A medida que aumenta el numero de instantes m, las matrices convergern
a un valor estable, independiente del valor inicial . Por lo tanto cuando el
sistema llega a un estado estable j, la probabilidad en estado estable llega a
ser: m j lim Pij m
5. Luego el vector de probabilidades es estado estable esta dado por: 1 , 2,
3,.....
6. Las ecuaciones anteriores de estado estable se convierten en: 0 0 p 00 1 p
10 , 1 0 p 01 1 p11 , 1 0 1
7. Se debe tomar en cuenta que se debe cumplir la condicin de probabilidad: j
1j
8. Determinar las probabilidades de estado, en estado estable, de un sistema
Markoviano descrito por su matriz de transicin de estados: 0.25,0.25,0.5,0
0,0.25,0.5,0.25 0.25,0.25,0.25,0.25 0.25,0.25,0,0.5
9. 1 0.25 0 0.25 0.25 m1 m2 m3 m4 2 0.25 0.25 0.25 0.25 m1 m2 m3 m4 3 0.5
0.5 0.25 m1 m2 m31 m1 m 2 m3 m 4
10. Al resolver el sistema de ecuaciones nos queda lo siguiente;1=
0,18752= 0,253= 0,29174=0,271

ESTADOS ABSORBENTES

Se dice que un estado es absorbente si es cero la probabilidad de hacer una

transicin fuera de ese estado. Por tanto, una vez que el sistema hace una
transicin hacia un estado absorbente, permanece en el siempre

MATRIZ FUNDAMENTAL
La matriz fundamental es muy til para el anlisis y solucin de situaciones en
las cuales aparecen estados absorbentes.

La metodologa para obtener la matriz fundamental es la siguiente:

1.
Obtener la matriz de transicin en la forma usual, incluyendo los estados
absorbentes.

2.
Identificar de la matriz de transicin los renglones correspondientes a la
matriz absorbente

3.
De lo que ha quedado de la matriz de transicin en el paso anterior,
dividirlo en dos partes: N que ser la parte no absorbente y A que contendr
los estados absorbentes

4.

Obtenemos la matriz U mediante la siguiente frmula:

U=I-N
Donde I es la matriz identidad.

5.

Finalmente, se obtiene la matriz identidad de la siguiente manera:

X=U-1

Donde X representa la inversa de U, la cual se obtiene por algunos mtodos

como el Gauss- Jordan.

Veamos el siguiente ejemplo en el cual explicaremos algunos conceptos

importantes:

Una empresa emplea a tres tipos de ingenieros: principiantes, con experiencia

y socios. Durante un ao determinado hay una probabilidad de 0.15 que un
ingeniero principiante sea ascendido a ingeniero con experiencia y una
probabilidad de 0.05 que deje la empresa sin ser socio. Tambin hay una
probabilidad de 0.20 que un ingeniero con experiencia sea ascendido a socio y
una probabilidad de 0.10 que deje la empresa sin ser socio. Tambin hay una
probabilidad de 0.05 de que un socio deje la empresa. Determine:
a) Cul es la duracin promedio de un ingeniero recin contratado?
b) cul es la probabilidad de que un ingeniero principiante llegue a ser socio?
c) Cul es la duracin promedio que pasa un socio en la empresa?

Primero, determinamos la matriz de transicin en la cual se observa que hay

dos estados absorbentes: el ingeniero deje la empresa sin ser socio y que un
socio deje la empresa

Donde IP= INGENIERO PRINCIPIANTE

IE= INGENIERO CON EXPERIENCIA
IS = INGENIERO SOCIO
IDS= INGENIERO DEJA LA EMPRESA SIENDO SOCIO
IDSS= INGENIERO DEJA LA EMPRESA SIN SER SOCIO
Luego hallamos la matriz I-N, donde I es la matriz de identidad y N la matriz no
absorbente identificada en el paso anterior.

Luego a travs de Gauss-Jordan, hallamos la matriz inversa como se muestra a

continuacin.

Para responder la primera pregunta debemos tener presente un nuevo

concepto que es el valor esperado que es el tiempo en que un estado demora
antes de ser absorbido. Este valor esperado se obtiene a travs de la matriz
inversa. De esta forma, la duracin promedio de un recin contratado seria:

Para hallar la probabilidad de que un ingeniero principiante llegue a ser socio

se debe multiplicar la matriz inversa por la matriz absorbente, de la siguiente
manera:

Obsrvese que esta probabilidad es igual a 0.5.

De igual manera como en la primera parte, la duracin promedio de un socio

en la empresa es: