Markov

Introducción a las cadenas de Markov
Ricardo Alberich, Juan Gabriel Gomila y Arnau Mir
Ricardo Alberich, Juan Gabriel Gomila y Arnau Mir Introducción a las cadenas de Markov
Introducción a los procesos estocásticos
El mundo que nos rodea es dinámico, va cambiando con el

tiempo:

tiempo:
la temperatura,

tiempo:
la temperatura,
los precios de las acciones,

tiempo:
la temperatura,
popularidad de los políticos,

tiempo:
la temperatura,
el uso de la CPU de un ordenador,

tiempo:
la temperatura,
la velocidad de una determinada conexión a internet,

tiempo:
la temperatura,
etc.

tiempo:
la temperatura,
etc.
De cara a modelar una determinada situación, necesitamos que

las variables aleatorias cambien con el tiempo.

tiempo:
la temperatura,
etc.
De cara a modelar una determinada situación, necesitamos que

las variables aleatorias cambien con el tiempo.
Por dicho motivo, vamos a introducir los procesos estocásticos,
que son variables aleatorias que además de depender de los
elementos del espacio muestral, dependen del tiempo.
Procesos estocásticos
Un proceso estocástico es una variable aleatoria X (w , t) que
depende de dos argumentos:
un elemento del espacio muestral w ∈ Ω,
el tiempo t ∈ T , donde el conjunto T puede ser
discreto: T = {0, 1, 2, . . .}, o T = {. . . , −2, −1, 0, 1, 2, . . .},
continuo: T = [0, ∞) o T = [−∞, ∞).
Si fijamos el tiempo t, la variable aleatoria X (w , t) = Xt (w )

sería una variable aleatoria que modelizaría lo que pasa en el
sistema en el instante t.
Un proceso estocástico es una variable aleatoria X (w , t) que
depende de dos argumentos:
un elemento del espacio muestral w ∈ Ω,
el tiempo t ∈ T , donde el conjunto T puede ser
discreto: T = {0, 1, 2, . . .}, o T = {. . . , −2, −1, 0, 1, 2, . . .},
continuo: T = [0, ∞) o T = [−∞, ∞).
Si fijamos el tiempo t, la variable aleatoria X (w , t) = Xt (w )

sería una variable aleatoria que modelizaría lo que pasa en el
sistema en el instante t.
Si fijamos el elemento w del espacio muestral Ω, tenemos la
función dependiendo del tiempo X (w , t) = Xw (t). Dicha
función se denomina trayectoria del proceso estocástico.
Ejemplo: lanzamiento de una moneda

Un proceso estocástico sencillo es considerar lanzar una moneda
cada cierto espacio de tiempo, por ejemplo cada minuto, y observar
el resultado.
En este caso Ω = {c, +} y T = {0, 1, 2, . . .}.
X (w , t) sería la variable aleatoria que nos dice el comportamiento
de la moneda en el lanzamiento t-ésimo.
La distribución de dicha variable será de Bernoulli de parámetro p
para cualquier instante t donde p es la probabilidad de sacar cara.
1
Resultados
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
Tipos de procesos estocásticos

Diremos que el proceso estocástico es de estado discreto si la
variable aleatoria Xt (w ) es discreta y es de estado continuo si la
variable aleatoria Xt (w ) es continua para todo valor del tiempo t.
Diremos que el proceso estocástico es de tiempo discreto si el
conjunto T de valores del tiempo es discreto y es de tiempo
continuo si T es continuo.
Procesos estocásticos. Ejemplos
Ejemplo anterior del lanzamiento de una moneda de parámetro

p: estado discreto y tiempo discreto.

Número de infectados diarios por una pandemia: estado
discreto y tiempo discreto.

Temperatura en un lugar determinado: estado continuo y
tiempo continuo.

Temperatura en un lugar determinado: estado continuo y
tiempo continuo.
Tiempo de espera del n-ésimo cliente de una cola en el
supermercado modelado como X (n, w ). Este ejemplo es “lioso”
ya que el tiempo sería el número del cliente y el espacio
muestral sería precisamente el tiempo. Pensar que la variable
aleatoria “tiempo” dependerá del número de cliente n: estado
continuo y tiempo discreto.
Procesos de Markov
Cadena de Markov
Un proceso estocástico X (t) es un proceso de Markov si para
cualquier secuencia de valores t1 < · · · < tn < t y para cualquier
secuencia de sucesos A, A1 , . . . , An ,
P(X (t) ∈ A|X (t1 ) ∈ A1 , . . . , X (tn ) ∈ An )

= P(X (t) ∈ A|X (tn ) ∈ An ).
Es decir, que la distribución condicionada de la variable X (t)

condicionada a los valores del proceso estocástico en n
instantes cualesquiera del pasado sólo depende de la
distribución condicionada de la variable X (t) condicionada al
proceso correspondiente al último instante de la secuencia.
Procesos de Markov
Esquemáticamente, podemos escribir:
P(FUTURO|PASADO, PRESENTE)
= P(FUTURO|PRESENTE).
Procesos de Markov
Ejemplos:
Procesos de Markov
Ejemplos:
Temperatura en un día determinado: no es un proceso de
Markov.
Procesos de Markov
Ejemplos:
Markov.
Número de conexiones registradas en un router de internet en
un instante determinado: sí es un proceso de Markov ya que la
gente se conecta aleatoriamente.
Procesos de Markov
Ejemplos:
Markov.
Precio de un stock en la bolsa en un día determinado: no es un
proceso de Markov.
Procesos de Markov
Ejemplos:
Markov.
Precio de un stock en la bolsa en un día determinado: no es un
proceso de Markov.
Ejemplo del lanzamiento de la moneda: sí es un proceso de
Markov.
Cadenas de Markov. Introducción
Dentro de los procesos de Markov están las denominadas

cadenas de Markov:
Cadenas de Markov
Una cadena de Markov es un proceso de Markov de estado discreto
y de tiempo discreto.

cadenas de Markov:
Cadenas de Markov
Las cadenas de Markov se aplican a:

cadenas de Markov:
Cadenas de Markov

Meteorología: modelización de modelos meteorológicos básicos.

cadenas de Markov:
Cadenas de Markov

Modelos epidemiológicos: modelización de una epidemia.

cadenas de Markov:
Cadenas de Markov

Internet: el pagerank usado por Google para dar un peso a las
páginas web.

cadenas de Markov:
Cadenas de Markov

páginas web.
Economía y finanzas: modelización del colapso de una bolsa de
valores.

cadenas de Markov:
Cadenas de Markov

páginas web.
valores.
Genética: teoría genética de poblaciones.

cadenas de Markov:
Cadenas de Markov

páginas web.
valores.
Genética: teoría genética de poblaciones.
Redes neuronales: se utilizan en las máquinas de Boltzmann.
Vamos a introducir algunas simplificaciones:

Definiremos T = {0, 1, 2 . . .}. Entonces la cadena de Markov
sería una secuencia aleatoria de variables aleatorias
X (0), X (1), X (2), . . ..

Definiremos T = {0, 1, 2 . . .}. Entonces la cadena de Markov
sería una secuencia aleatoria de variables aleatorias
X (0), X (1), X (2), . . ..
Llamaremos al conjunto Ω conjunto de estados. Como es
discreto, lo enumeraremos de la forma siguiente
Ω = {1, 2, . . . , n}.
Por ser una cadena de Markov, un proceso de Markov, tenemos

la denominada propiedad de Markov que nos dice que la
variable aleatoria en un instante t + 1 sólo depende de los
valores que toma la variable aleatoria X (t) o el proceso en el
instante t.
Por ser una cadena de Markov, un proceso de Markov, tenemos

la denominada propiedad de Markov que nos dice que la
variable aleatoria en un instante t + 1 sólo depende de los
valores que toma la variable aleatoria X (t) o el proceso en el
instante t.
Es decir, pij (t) = P(X (t + 1) = j|X (t) = i) vale:
pij (t) =P(X (t + 1) = j|X (t) = i)

=P(X (t + 1) = j|X (t) = i, X (t − 1) = h, X (t − 2) = g, . . .)
Cadenas de Markov. Probabilidades de transición
Probabilidades de transición
Las probabilidades pij (t) se llaman probabilidades de transición.
La probabilidad
(h)
pij (t) = P(X (t + h) = j|X (t) = i),
es la probabilidad de ir desde el estado i hasta el estado j usando h

transiciones. Dicha probabilidad se llama probabilidad de transición
de h pasos.
Cadenas de Markov. Cadenas de Markov homogéneas
Cadenas de Markov homogéneas

Una cadena de Markov es homogénea cuando las probabilidades de
transición no dependen del tiempo t.
Es decir:
(h) (h)
pij (t) = pij , pij = pij .
Notación:

Es decir:
(h) (h)
Notación:
pij = P(X (t + 1) = j|X (t) = i): probabilidad de transición.

Es decir:
(h) (h)
Notación:
(h)
pij = P(X (t + h) = j|X (t) = i): probabilidad de transición en
h pasos.

Es decir:
(h) (h)
Notación:
(h)
h pasos.
Pt (x ) = P(X (t) = x ): distribución de la variable aleatoria X (t).

Es decir:
(h) (h)
Notación:
(h)
h pasos.
Pt (x ) = P(X (t) = x ): distribución de la variable aleatoria X (t).
P0 (t) = P(X (0) = x ): distribución inicial o en el tiempo 0.
Cadenas de Markov. Ejemplo
Ejemplo
Un ordenador es compartido por dos usuarios. Estudiamos cuantos
usuarios hay conectados cada minuto. Nos dicen que un usuario
puede desconectarse con probabilidad 0.3 y se puede conectar con
probabilidad 0.4.
Modelizamos la situación anterior con una cadena de Markov X (t)
que nos da el número de usuarios conectados al cabo de t minutos.
Los valores de X (t) pueden ser 0, 1 y 2. Por tanto, el conjunto de
estados será: Ω = {0, 1, 2}.
A continuación, calculemos las probabilidad de transición:
Ejemplo
Si X (0) = 0, o no hay ningún usuario conectado, el número de
usuarios que habrá en el siguiente minuto es una variable aleatoria
binomial de parámetros n = 2 y p = 0.4:
!
2
p00 = · 0.40 · 0.62 = 0.36,
0
!
2
p01 = · 0.41 · 0.61 = 0.48,
1
!
2
p02 = · 0.42 · 0.60 = 0.16.
2
Ejemplo
Si X (0) = 1, o hay un usuario conectado, el número de usuarios
nuevos que habrá en el siguiente minuto es una variable aleatoria
binomial de parámetros n = 1 y p = 0.4 y el número de
desconexiones en el minuto siguiente será una variable aleatoria
binomial de parámetros n = 1 y p = 0.3:
p10 =0.6 · 0.3 = 0.18,

p11 =0.3 · 0.4 + 0.7 · 0.6 = 0.54,
p12 =0.7 · 0.4 = 0.28.
Ejemplo
Si X (0) = 2, o hay los dos usuarios conectados, el número de
usuarios desconectados que habrá en el siguiente minuto es una
variable aleatoria binomial de parámetros n = 2 y p = 0.3.
!
2
p20 = · 0.70 · 0.32 = 0.09,
0
!
2
p21 = · 0.71 · 0.31 = 0.42,
1
!
2
p22 = · 0.72 · 0.30 = 0.49.
2
Cadenas de Markov. Diagrama de transición
Diagrama de transición del ejemplo.
Cadenas de Markov. Ejemplo en R
Ejemplo en R
Las probabilidades anteriores se almacenarían en R de la forma
siguiente.
Vemos que la suma de las filas vale 1:
P=matrix(c(0.36,0.48,0.16,0.18,0.54,0.28,0.09,0.42,0.49),
3,3,byrow=T)
P
## [,1] [,2] [,3]

## [1,] 0.36 0.48 0.16
## [2,] 0.18 0.54 0.28
## [3,] 0.09 0.42 0.49
apply(P,1,sum)
## [1] 1 1 1
Cadenas de Markov. Ejemplo en python
Ejemplo en python
import numpy as np
P=np.matrix([[0.36,0.48,0.16],[0.18,0.54,0.28],
[0.09,0.42,0.49]])
P
## matrix([[0.36, 0.48, 0.16],

## [0.18, 0.54, 0.28],
## [0.09, 0.42, 0.49]])
np.sum(P, axis = 1)
## matrix([[1.],
## [1.],
## [1.]])
Cadenas de Markov. Matriz de transición
Las probabilidades de transición se pueden escribir en forma de

matriz de la forma siguiente:
 
p11 p12 · · · p1n
p21 p22 · · · p2n 
 
P= .
 .. .. ,
.. 
 .. . . . 
pn1 pn2 · · · pnn
donde P se llama matriz de probabilidades de transición.
Las probabilidades de transición se pueden escribir en forma de

matriz de la forma siguiente:
 
p11 p12 · · · p1n
p21 p22 · · · p2n 
 
P= .
 .. .. ,
.. 
 .. . . . 
donde P se llama matriz de probabilidades de transición.

El valor pij es la probabilidad de transición desde el estado i al
estado j.
La matriz de probabilidades de transición es una matriz

estocástica, es decir la suma de las filas vale 1:
pi1 + pi2 + · · · + pin = 1.
La matriz de probabilidades de transición es una matriz

estocástica, es decir la suma de las filas vale 1:
pi1 + pi2 + · · · + pin = 1.
Recordemos que pij = P(X (1) = j|X (0) = i). Por tanto el
vector (pi1 , . . . , pin ) representaría la función de masa de
probabilidad de la variable aleatoria discreta X (1)|X (0) = i.
Ejemplo anterior
La matriz de probabilidades de transición sería la siguiente:
 
0.36 0.48 0.16
P = 0.18 0.54 0.28 .
 
0.09 0.42 0.49
Cadenas de Markov. Matriz de transición de h pasos
La matriz de probabilidades de transición de h pasos para la

transición de h pasos sería la siguiente:
 
(h) (h) (h)
p p12 · · · p1n
 11
p (h) p (h) · · · p (h) 

 21 22 2n 
P(h) = . .. .. ..  ,
 .. . . . 
 
(h) (h) (h)
(h)
donde recordemos que pij = P(X (h) = j|X (0) = i).
La matriz de probabilidades de transición de h pasos es

también una matriz estocástica:
(h) (h) (h)
pi1 + pi2 + · · · + pin = 1.
La matriz de probabilidades de transición de h pasos es

también una matriz estocástica:
(h) (h) (h)
pi1 + pi2 + · · · + pin = 1.
(h) (h)
Por tanto el vector (pi1 , . . . , pin ) representaría la función de
masa de probabilidad de la variable aleatoria discreta
X (h)|X (0) = i.
Cadenas de Markov. Cálculo de P(h)
(2)
Empecemos con el cálculo de P(2) , es decir pij , las
probabilidades de transición de 2 pasos:
(2)
pij =P(X (2) = j|X (0) = i)
n
X
= P(X (1) = k|X (0) = i) · P(X (2) = j|X (1) = k)
k=1
p1j
 
n
X  .. 
= pik · pkj = (pi1 , . . . , pin ) ·  .  .
k=1 pnj
(2)
La probabilidad pij se calcula como la suma de probabilidades
de ir del estado i a j pasando por el estado k, para k desde 1
hasta n:
i −→ k −→ j.
(2)
La probabilidad pij se calcula como la suma de probabilidades
de ir del estado i a j pasando por el estado k, para k desde 1
hasta n:
i −→ k −→ j.
En resumen P(2) = P · P = P2 .
En general, las probabilidades de transición de h pasos se
pueden calcular en función de las probabilidades de transición
de h − 1 pasos razonando de forma similar:
(h)
pij =P(X (h) = j|X (0) = i)
n
X
= P(X (h − 1) = k|X (0) = i) · P(X (h) = j|X (h − 1) = k)
k=1
p1j
 
n
X (h−1) (h−1) (h−1)  .. 
= pik · pkj = (pi1 , . . . , pin ) ·  . .
k=1 pnj
En general, las probabilidades de transición de h pasos se
pueden calcular en función de las probabilidades de transición
de h − 1 pasos razonando de forma similar:
(h)
pij =P(X (h) = j|X (0) = i)
n
X
= P(X (h − 1) = k|X (0) = i) · P(X (h) = j|X (h − 1) = k)
k=1
p1j
 
n
X (h−1) (h−1) (h−1)  .. 
= pik · pkj = (pi1 , . . . , pin ) ·  . .
k=1 pnj
En conclusión,
P(h) = P(h−1) · P = Ph−1 · P = Ph .
Ejemplo
Calculemos las probabilidades de transición de 2 y 3 pasos:
   
0.36 0.48 0.16 0.36 0.48 0.16
P(2) =P · P = 0.18 0.54 0.28 · 0.18 0.54 0.28
   
0.09 0.42 0.49 0.09 0.42 0.49
 
0.2304 0.4992 0.2704
= 0.1872 0.4956 0.3172 ,
 
0.1521 0.4758 0.3721
   
0.2304 0.4992 0.2704 0.36 0.48 0.16
P(3) (2)
=P · P = 0.1872 0.4956 0.3172 · 0.18 0.54 0.28
   
0.1521 0.4758 0.3721 0.09 0.42 0.49
 
0.197136 0.493728 0.309136
= 0.185148 0.490704 0.324148
 
0.173889 0.486222 0.339889
P2=P%*%P
P2
## [,1] [,2] [,3]

## [1,] 0.2304 0.4992 0.2704
## [2,] 0.1872 0.4956 0.3172
## [3,] 0.1521 0.4758 0.3721
P3=P2%*%P
P3
## [,1] [,2] [,3]

## [1,] 0.197136 0.493728 0.309136
## [2,] 0.185148 0.490704 0.324148
## [3,] 0.173889 0.486222 0.339889
P2 = np.dot(P,P)
P2
## matrix([[0.2304, 0.4992, 0.2704],

## [0.1872, 0.4956, 0.3172],
## [0.1521, 0.4758, 0.3721]])
P3 = np.dot(P2,P)
P3
## matrix([[0.197136, 0.493728, 0.309136],

## [0.185148, 0.490704, 0.324148],
## [0.173889, 0.486222, 0.339889]])
Distribución de X (h)
Dar la distribución de la variable aleatoria X (h), es decir, la

distribución de la transición al cabo de h pasos sería equivalente
a dar la función de probabilidad que sería una tabla del tipo:
X (h) 1 2 ··· n
Ph (1) Ph (2) · · · Ph (n)
Dar la distribución de la variable aleatoria X (h), es decir, la

distribución de la transición al cabo de h pasos sería equivalente
a dar la función de probabilidad que sería una tabla del tipo:
X (h) 1 2 ··· n
Ph (1) Ph (2) · · · Ph (n)
n
X
Ph (j) =P(X (h) = j) = P(X (0) = k) · P(X (j) = j|X (0) = k)
k=1
 (h) 
n
p1j
X (h)  . 
=  .. 
P0 (k) · pkj = (P0 (1), . . . , P0 (n)) ·  
k=1 (h)
pnj
La expresión nos da la función de probabilidad de X (h) en

función de la función de probabilidad de X (0) y de las
probabilidades de transición P(h) .
La expresión nos da la función de probabilidad de X (h) en

función de la función de probabilidad de X (0) y de las
probabilidades de transición P(h) .
Matricialmente Ph = P0 · Ph .
Ejemplo anterior
Vamos a calcular la distribución de los usuarios conectados al cabo
de 2 y 3 minutos en dos casos:
Suponiendo que inicialmente hay un usuario conectado.
Suponiendo que el número de usuarios conectados inicialmente
es equiprobable.
Ejemplo anterior
En el primer caso, la función de probabilidad de X (0) será
X (0) = (0, 1, 0).
La función de probabilidad de los usuarios conectados al cabo de 2 y
3 minutos será:
 
0.2304 0.4992 0.2704
P2 =(0, 1, 0) · P(2) = (0, 1, 0) · 0.1872 0.4956 0.3172
 
0.1521 0.4758 0.3721
 
0.1872
= 0.4956 ,
 
0.3172
Ejemplo anterior
 
0.197136 0.493728 0.309136
P3 =(0, 1, 0) · P(3) = (0, 1, 0) · 0.185148 0.490704 0.324148
 
0.173889 0.486222 0.339889
 
0.185148
= 0.490704 .
 
0.324148
Ejemplo anterior
En el segundo
caso,
la función de probabilidad de X (0) será
1 1 1
X (0) = 3 , 3 , 3 .
La función de probabilidad de los usuarios conectados al cabo de 2 y
3 minutos será:
 
0.2304 0.4992 0.2704
1 1 1 1 1 1

P2 = , , · P(2) = , , · 0.1872 0.4956 0.3172
 
3 3 3 3 3 3
0.1521 0.4758 0.3721
 
0.1899
= 0.4902 ,
 
0.3199
Ejemplo anterior
1 1 1

P3 = , , · P(3)
3 3 3
 
0.197136 0.493728 0.309136
1 1 1

= , , · 0.185148 0.490704 0.324148
 
3 3 3
0.173889 0.486222 0.339889
 
0.185391
= 0.490218 .
 
0.324391
X01=c(0,1,0)
(dist.X21 = t(X01)%*%P2)
## [,1] [,2] [,3]

## [1,] 0.1872 0.4956 0.3172
(dist.X31 = t(X01)%*%P3)
## [,1] [,2] [,3]

## [1,] 0.185148 0.490704 0.324148
X01= np.matrix([0,1,0])
dist_X21 = X01*P2
dist_X21
## matrix([[0.1872, 0.4956, 0.3172]])

dist_X31 = X01*P3
dist_X31
## matrix([[0.185148, 0.490704, 0.324148]])
X02=c(1/3,1/3,1/3)
(dist.X22 = t(X02)%*%P2)
## [,1] [,2] [,3]

## [1,] 0.1899 0.4902 0.3199
(dist.X32 = t(X02)%*%P3)
## [,1] [,2] [,3]

## [1,] 0.185391 0.490218 0.324391
X02= np.matrix([1/3,1/3,1/3])
dist_X22 = X02*P2
dist_X22
## matrix([[0.1899, 0.4902, 0.3199]])

dist_X32 = X02*P3
dist_X32
## matrix([[0.185391, 0.490218, 0.324391]])
Distribución en el equilibrio
La distribución de la cadena de Markov en el equilibrio nos dice

cuál es la distribución de X (h), Ph , al cabo de un número muy
grande de transiciones h.

Es decir, definimos la distribución de la cadena de Markov en el
equilibrio π(x ) de la forma siguiente:
π(x ) = lim Ph (x ), x = 1, . . . , n.
h→∞

Es decir, definimos la distribución de la cadena de Markov en el
equilibrio π(x ) de la forma siguiente:
π(x ) = lim Ph (x ), x = 1, . . . , n.
h→∞
La distribución de la cadena de Markov en el equilibrio puede

interpretarse como el porcentaje de “tiempo” que una persona
pasa en cada estado x suponiendo que realiza un camino
aleatorio por la cadena según la matriz de transición de
probabilidades.
Vamos a dar una forma de calcular π(x ) la distribución de la

cadena de Markov en el equilibrio.

Podemos escribir que la función de probabilidad de X (h + 1),
Ph+1 puede escribirse como:
Ph = Ph · P.

Ph = Ph · P.
Si hacemos h → ∞ en la expresión anterior, obtenemos:
π = π · P.

Ph = Ph · P.
Si hacemos h → ∞ en la expresión anterior, obtenemos:
π = π · P.
Entonces se dice que la distribución de la cadena de Markov en

el equilibrio π(x ) es un vector propio de valor propio 1 por la
izquierda de la matriz de transición de probabilidades P.
En resumen, para calcular la distribución de la cadena de

Markov en el equilibrio π(x ), hay que resolver:
πP =π,
n
X
π =1.
k=1
En resumen, para calcular la distribución de la cadena de

Markov en el equilibrio π(x ), hay que resolver:
πP =π,
n
X
π =1.
k=1
Hallar un vector propio por la izquierda de la matriz P es

equivalente a hallar un vector propio por la derecha de la
matriz P> ya que si:
πP = π, ⇒ P> · π > = π > .
Ejemplo
El vector propio de valor propio 1 de la matriz P> cuyas
componentes suman 1 y son positivas vale:
(0.1836735, 0.4897959, 0.3265306).
El vector anterior sería la distribución de probabilidad en el equilibrio

de la cadena de Markov considerada.
Distribución en el equilibrio en R
Ejemplo
Para hallar la distribución de probabilidad en el equilibrio en R
haríamos lo siguiente:
(vectores.propios = eigen(t(P))$vectors)
## [,1] [,2] [,3]

## [1,] -0.2978565 -0.5883484 0.4082483
## [2,] -0.7942841 -0.1961161 -0.8164966
## [3,] -0.5295227 0.7844645 0.4082483
Distribución en el equilibrio en R
(vector.propio.vap.1=vectores.propios[,1])
## [1] -0.2978565 -0.7942841 -0.5295227

(equilibrio =
vector.propio.vap.1/sum(vector.propio.vap.1))
## [1] 0.1836735 0.4897959 0.3265306
Distribución en el equilibrio en python
from numpy import linalg as LA

vap, vep = LA.eig(P.T)
vep
## matrix([[-0.29785653, -0.58834841, 0.40824829],

## [-0.79428407, -0.19611614, -0.81649658],
## [-0.52952271, 0.78446454, 0.40824829]])
equilibrio = vep[:,0]/vep[:,0].sum()
equilibrio
## matrix([[0.18367347],
## [0.48979592],
## [0.32653061]])

Markov

Cargado por

Copyright:

Formatos disponibles

Markov

Cargado por

Información del documento

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Markov

Cargado por

Copyright:

Formatos disponibles

Introducción a las cadenas de Markov

Ricardo Alberich, Juan Gabriel Gomila y Arnau Mir

El mundo que nos rodea es dinámico, va cambiando con el

El mundo que nos rodea es dinámico, va cambiando con el

El mundo que nos rodea es dinámico, va cambiando con el

El mundo que nos rodea es dinámico, va cambiando con el

El mundo que nos rodea es dinámico, va cambiando con el

El mundo que nos rodea es dinámico, va cambiando con el

El mundo que nos rodea es dinámico, va cambiando con el

El mundo que nos rodea es dinámico, va cambiando con el

De cara a modelar una determinada situación, necesitamos que

El mundo que nos rodea es dinámico, va cambiando con el

De cara a modelar una determinada situación, necesitamos que

Si fijamos el tiempo t, la variable aleatoria X (w , t) = Xt (w )

Si fijamos el tiempo t, la variable aleatoria X (w , t) = Xt (w )

Ejemplo: lanzamiento de una moneda

Tipos de procesos estocásticos

Ejemplo anterior del lanzamiento de una moneda de parámetro

Ejemplo anterior del lanzamiento de una moneda de parámetro

Ejemplo anterior del lanzamiento de una moneda de parámetro

Ejemplo anterior del lanzamiento de una moneda de parámetro

P(X (t) ∈ A|X (t1 ) ∈ A1 , . . . , X (tn ) ∈ An )

Es decir, que la distribución condicionada de la variable X (t)

Esquemáticamente, podemos escribir:

Esquemáticamente, podemos escribir:

Esquemáticamente, podemos escribir:

Esquemáticamente, podemos escribir:

Esquemáticamente, podemos escribir:

Esquemáticamente, podemos escribir:

Dentro de los procesos de Markov están las denominadas

Dentro de los procesos de Markov están las denominadas

Las cadenas de Markov se aplican a:

Dentro de los procesos de Markov están las denominadas

Las cadenas de Markov se aplican a:

Dentro de los procesos de Markov están las denominadas

Las cadenas de Markov se aplican a:

Dentro de los procesos de Markov están las denominadas

Las cadenas de Markov se aplican a:

Dentro de los procesos de Markov están las denominadas

Las cadenas de Markov se aplican a:

Dentro de los procesos de Markov están las denominadas

Las cadenas de Markov se aplican a:

Dentro de los procesos de Markov están las denominadas

Las cadenas de Markov se aplican a:

Vamos a introducir algunas simplificaciones:

Vamos a introducir algunas simplificaciones:

Vamos a introducir algunas simplificaciones:

Por ser una cadena de Markov, un proceso de Markov, tenemos

Por ser una cadena de Markov, un proceso de Markov, tenemos

pij (t) =P(X (t + 1) = j|X (t) = i)

es la probabilidad de ir desde el estado i hasta el estado j usando h

Cadenas de Markov homogéneas

Cadenas de Markov homogéneas

Cadenas de Markov homogéneas

Cadenas de Markov homogéneas

Cadenas de Markov homogéneas

p10 =0.6 · 0.3 = 0.18,

## [,1] [,2] [,3]

## matrix([[0.36, 0.48, 0.16],

Las probabilidades de transición se pueden escribir en forma de