Msc. Ing. Marilin Pérez. Procesos Estocá sticos.

Unidades 2 y 3

Introducción
La teoría de los procesos estocásticos se centra en el estudio y modelización de sistemas que evolucionan a lo
largo del tiempo, o del espacio, de acuerdo a unas leyes no determinísticas, esto es, de carácter aleatorio.
La forma habitual de describir la evolución del sistema es mediante sucesiones o colecciones de variables
aleatorias. De esta manera, se puede estudiar cómo evoluciona una variable aleatoria a lo largo del tiempo. Por
ejemplo, el número de personas que espera ante una ventanilla de un banco en un instante t de tiempo; el precio
de las acciones de una empresa a lo largo de un año.
La primera idea básica es identificar un proceso estocástico con una sucesión de variable aleatoria {X n, n ∈ N}
donde el subíndice indica el instante de tiempo (o espacio) correspondiente.
Esta idea inicial se puede generalizar fácilmente, permitiendo que los instantes de tiempo en los que se definen
las variables aleatorias sean continuos. Así, se podrá hablar de una colección o familia de variables aleatorias
{Xt, t ∈ R}, que da una idea más exacta de lo que es un proceso estocástico.
Se tenía que una v.a. X(s) es una función que va desde un espacio muestral S a la recta real, de manera que a
cada punto s ∈ S del espacio muestral se le puede asociar un número de la recta real.
De este modo, la probabilidad de cada suceso de S se puede trasladar a la probabilidad de que un valor de X
(v.a.) caiga en un cierto intervalo o conjunto de números reales. Si a todo esto se le añade una dimensión
temporal, se obtiene un proceso estocástico.
En general trabajamos con procesos estocásticos en cualquier caso en que intentamos ajustar un modelo teórico
que nos permita hacer predicciones sobre el comportamiento futuro de un proceso. Un ejemplo particularmente
importante lo proporcionan las denominadas “Series de Tiempo” o “Series Temporales”, que registran
observaciones de determinado proceso en función del tiempo.

Procesos Aleatorios o Estocásticos

Definición 1: se denomina proceso aleatorio o estocástico a toda variable que evoluciona a lo largo del tiempo
de forma total o parcialmente aleatoria. Un ejemplo, es la temperatura en Madrid, aumenta durante el día y baja
durante la noche; aumenta en el verano y desciende mucho en invierno (“nueve meses de invierno y tres de
infierno”, que se dice del clima castellano); su variación es parcialmente determinística y parcialmente aleatoria.

Figura 2.1: Temperaturas máximas y mínimas en Madrid

Definición 2: es toda experiencia que genere una secuencia de valores modelizables como variables aleatorias.
Cada experiencia individual tiene un posicionamiento, o sea un orden en la experiencia global.

Definición 3: el conjunto de funciones temporales que resultan de un experimento particular, es decir, cada vez
que se realiza el experimento, se produce como salida una determinada señal. La aleatoriedad radica en saber
cual de todas las funciones saldrá. Además, en cada instante de tiempo tk, se puede definir una variable aleatoria
1
que podría llamarse xtk. Queda claro que la diferencia fundamental entre una variable aleatoria y un proceso
aleatorio es la dependencia
con la variable tiempo.

Figura 2.2: Procesos Estocásticos

Ejemplo: suponga un proceso estocástico definido como x(t)=at donde a está uniformemente distribuida entre 0
y 1. Cada vez que se realiza el experimento, la salida es una recta de pendiente diferente. Para un tiempo dado,
digamos t=t0, se tendrá una v.a xt0= at0, que puede tomar valores entre 0 y t0. Una forma de caracterizar el
proceso x(t) es a través de la definición de una función conjunta de infinitas variables aleatoria
correspondientes a tiempos distintos tk.

Definición 4: un proceso estocástico es una colección de variables aleatorias {Xt : t ∈ T} parametrizada por un
conjunto T llamado espacio parametral y con valores en un conjunto S llamado espacio de estados (conjunto de
posibles valores que pueden tomar las
variables aleatorias {Xt}t ∈R).

Figura 2.3: Proceso Estocástico

Nota: en general, se piensa en el subíndice t como el indicativo del tiempo y en Xt como el estado o posición del
proceso estocástico en el instante t.

Tipos de Procesos Aleatorios

Los procesos aleatorios son clasificados de acuerdo a las características de t y de la variable aleatoria X(t) en el
instante t. Si t tiene un rango de valores continuo dentro de uno o varios intervalos en la recta real R1, entonces
X(t) es llamado un proceso aleatorio de tiempo continuo. Si t puede tomar una cantidad finita, o infinita
numerable, de valores, entonces X(t) es llamado un proceso aleatorio de tiempo discreto, o una secuencia
aleatoria. Generalmente se denota a las secuencias aleatorias por X(n), donde n representa a tn.

X(t) ó X(n) es un proceso (o secuencia) con estados o valores discretos si los valores que puede tomar son
finitos (o infinito numerable). Si no, es un proceso (o secuencia) aleatorio con continuidad de valores o estados
 Msc. Ing. Marilin Pérez. Procesos Estocá sticos. Unidades 2 y 3

(no hay saltos). Notar que continuo o discreto se refiere a las características de la amplitud de X(t), y proceso y
secuencia a las características de t.

Otro atributo que es usado para clasificar a los procesos aleatorios es la dependencia de la estructura
probabilística de X(t) con t. Si cierta distribución de probabilidad o promedio no depende de t, entonces el
proceso se denomina estacionario. Si no, es llamado no estacionario.

Así, los procesos estocásticos se clasifican en:

• Continuo de variable continua: el crecimiento de las personas.

• Continuo de variable discreta: situación de encendido o apagado de una lámpara.

• Discreto de variable continua: temperatura máxima de cada día.

• Discreto de variable discreta: cantidad de pasajeros en cada ómnibus (autobús) que llega.

3
 Msc. Ing. Marilin Pérez. Procesos Estocá sticos. Unidades 2 y 3

Los procesos estocásticos también se pueden clasificar dependiendo de si T (conjunto paramétrico) es un

conjunto numerable o continuo, y de si E (conjunto de estados) es otro conjunto numerable o continuo. Así:

Ejemplos:
(i) Cadena: supongamos un sistema hidráulico con una válvula de seguridad que se revisa diariamente. Esta
válvula presenta tres posibles estados: correcto, incorrecto y deteriorado. De este modo se puede definir el
proceso como Xn ≡ Estado en el que se encuentra la válvula en el día n.
(ii) Proceso Puntual: un autobús escolar tiene capacidad para k personas. Si en una parada hay k o menos
personas esperando, entonces todas subirán al autobús. Si no es así, subirán las k primeras quedando el resto de
personas en espera. Se define, entonces, Xt ≡ número de personas esperando en la parada en un instante de
tiempo t. Se pueden plantear asuntos como minimizar el tiempo medio de espera, o reducir el número de
personas esperando.
(iii) Sucesión de v.a: una empresa petrolífera debe decidir cuánto petróleo extrae al mes para maximizar los
beneficios. Se define, entonces, Xn ≡ Cantidad de petróleo a extraer en el mes n. Esto es un ejemplo particular
de la llamada Teoría de Inventarios, donde se estudia la distribución de la demanda, por ejemplo.
(iv) Proceso Continuo: en la ventanilla de un banco se contabiliza el tiempo de espera de un cliente que llega en
un instante t. Se puede definir X t ≡ Tiempo de espera de un cliente que llega en el instante t. Esto está
relacionado con la Teoría de Colas. Interesa, por ejemplo, minimizar el tiempo de espera o estudiar la
distribución de Xt .

Tipos de Procesos Estocásticos

Los diferentes tipos de procesos estocásticos se obtienen al considerar las distintas posibilidades para: el espacio
parametral, el espacio de estados, las características de las trayectorias, y principalmente las relaciones de
dependencia entre las variables aleatorias que conforman el proceso. Estos son procesos que cumplen una cierta
propiedad particular, no necesariamente excluyentes unas de otras. Los siguientes son algunos ejemplos
generales de procesos estocásticos.

1.- Proceso de ensayos independientes: el proceso a tiempo discreto {X n : n = 0, 1, . .} puede estar constituido
por variables aleatorias independientes. Este modelo corresponde al experimento de realizar una sucesión de
ensayos independientes de un mismo experimento aleatorio, por ejemplo, lanzar un dado o una moneda
repetidas veces. El resultado u observación del proceso en un momento cualquiera es, por lo tanto,
independiente de cualquier otra observación pasada o futura del proceso.

2.- Procesos de Markov: estos son modelos en donde, suponiendo conocido el estado presente del sistema, los
estados anteriores no tienen influencia en los estados futuros del sistema. Esta condición se llama propiedad de
Markov y puede expresarse de la siguiente forma: para cualesquiera estados x 0 , x1 , . . . , xn−1 (pasado), xn
(presente), xn+1 (futuro), se cumple la igualdad:
P (Xn+1 = xn+1 | X0 = x0 , . . . , Xn = xn ) = P (Xn+1 = xn+1 | Xn = xn )
4
De esta forma la probabilidad del evento futuro (X n = xn) sólo depende el evento (Xn−1 = xn−1), mientras que la
información dada por el evento (X0 = x0 , . . . , Xn−2 = xn−2) es irrelevante. Los procesos de Markov han sido
estudiados extensamente y existe un gran número de sistemas que surgen en muy diversas disciplinas del
conocimiento para los cuales el modelo de proceso estocástico y la propiedad de Markov son razonables. En
particular, los sistemas dinámicos deterministas dados por una ecuación diferencial pueden considerarse
procesos de Markov pues su evolución futura queda determinada por la posición inicial del sistema y una ley de
movimiento especificada.

3.- Procesos con incrementos independientes: se dice que un proceso {Xt : t ≥ 0} tiene incrementos
independientes si para cualesquiera tiempos 0 ≤ t1 < t2 < · · · < tn , las variables Xt1 , Xt2 − Xt1 , . . . , Xtn − Xtn−1
son independientes.

4.- Procesos estacionarios: se dice que un proceso {Xt : t ≥ 0} es estacionario (en el sentido estricto) si para
cualesquiera tiempos t1 , . . . , tn, la distribución del vector (Xt1 , . , Xtn) es la misma que la del vector (Xt1 +h , . . .
, Xtn +h ) para cualquier valor de h > 0. En particular, la distribución de X t es la misma que la de Xt+h para
cualquier h > 0, y entonces esta distribución es la misma para cualquier valor de t.

5.- Procesos con incrementos estacionarios: se dice que un proceso {Xt : t ≥ 0} tiene incrementos
estacionarios si para cualesquiera tiempos s < t, y para cualquier h > 0, las variables Xt+h − Xs+h y Xt − Xs tienen
la misma distribución de probabilidad. Es decir, el incremento que sufre el proceso entre los tiempos s y t sólo
depende de estos tiempos a través de la diferencia t − s, y no de los valores específicos de s y t.
Nota: investigar Martingala, proceso de Lévy y procesos Gausianos.

Proceso de Bernoulli (proceso bernoulliano de ensayos independientes)

La distribución de bernoulli se refiere a un experimento aleatorio discreto que solo puede tomar dos valores, 0 ó
1 y más comúnmente éxito o fracaso para el cual la probabilidad p del resultado éxito ó 1 es conocida.
P(1) = P(éxito) = p
P(0) = P(fracaso) = 1 – p = q
Distribución de probabilidad es:
p(x) = px(1-p)1-x para x = 0, 1
Existen cantidad de fenómenos aleatorios que obedecen a este modelo:
 El lanzamiento de una moneda; cara o sello.
 El nacimiento de un niño: varón o hembra.
 Cursar la materia procesos estocásticos: se aprueba o se reprueba.
La repetición de estos experimentos Bernoullianos, como por ejemplo el lanzamiento de una moneda más de
una vez, o la observación del sexo de varios hijos de una misma pareja, etc, es llamado proceso Bernoulliano
de ensayos independientes.

Caminata Aleatoria (recorrido aleatorio de estado discreto y tiempo discreto)

Una caminata aleatoria simple sobre el conjunto de números enteros Z es un proceso estocástico a tiempo
discreto {Xt : t = 0, 1, . . .} que evoluciona como se muestra en la figura. Es decir, iniciando en el estado 0, al
siguiente tiempo el proceso puede pasar al estado +1 con probabilidad p, o al estado −1 con probabilidad q, en
donde p+q = 1. Se usa la misma regla para los siguientes tiempos, es decir, pasa al estado de la derecha con
probabilidad p, o al estado de la izquierda con probabilidad q. El valor de Xn es el estado del proceso al tiempo
n. Este proceso cambia de un estado a otro en dos tiempos consecutivos de acuerdo a las probabilidades de
transición que se muestran en la figura, válidas para cualquier t ≥ 0, y para cualesquiera enteros i y j.
 p si j = i + 1
P(Xn+1 = j | X n = i) q si j = i-1
= 0 en otro caso

Figura 2.4. Caminata Aleatoria

Dado que estas probabilidades no dependen de n, se dice que son homogéneas en el tiempo, es decir, son las
mismas para cualquier valor de n. A partir de estas consideraciones, es intuitivamente claro que este proceso
cumple la propiedad de Markov, es decir, el estado futuro del proceso depende únicamente del estado presente y
no de los estados previamente visitados. Una posible trayectoria de este proceso se muestra en la figura 5.

Figura 2.5. Trayectoria del proceso. Propiedad de Markov

Una caminata aleatoria puede también definirse de la forma siguiente: Sea ξ 1, ξ2, . una sucesión de variables
aleatorias independientes e idénticamente distribuidas tales que P(ξ = +1) = p y P(ξ = −1) = q, en donde,
como antes, p + q = 1. Entonces para t ≥ 1 se define:
Xn= X0 + ξ1 + · · · + ξn

Este es uno de los ejemplos más simples de un proceso estocástico. En este caso Xn es una variable aleatoria que
comienza con un valor conocido X0 y a lo largo de los períodos n = 1,2,3,…va variando a razón de saltos
unitarios hacia arriba o hacia abajo con una probabilidad asociada del 50% en cada caso.

Proposición
Para cualquier entero n ≥ 1,
1. E(Xn) = n(p − q).
2. Var (Xn) = 4npq.

Si p > q, es decir, si la caminata toma pasos a la derecha con mayor probabilidad, entonces el estado promedio
después de n pasos es un número positivo, es decir, su comportamiento promedio es tender hacia la derecha, lo
cual es intuitivamente claro. Análogamente, si p < q, entonces el estado final promedio de la caminata después
de n pasos es un número negativo, es decir, en promedio la caminata tiende a moverse hacia la izquierda. En
ambos casos la varianza crece conforme el número de pasos n crece, eso indica que mientras mayor es el
número de pasos que se dan, mayor es la incertidumbre acerca de la posición final del proceso. Cuando p ≠ q se
dice que la caminata es asimétrica. Cuando p = q = 1/2 se dice que la caminata es simétrica, y en promedio el
proceso se queda en su estado inicial pues E(Xn) = 0, sin embargo para tal valor de p la varianza es Var(Xn) = n.

Probabilidades de transición
Como hemos supuesto que la caminata inicia en cero, es intuitivamente claro que después de dar un número par
de pasos la cadena sólo puede terminar en una posición par, y si se efectúan un número impar de pasos la
posición final sólo puede ser un número impar. Además, es claro que después de efectuar n pasos, la caminata
sólo puede llegar a una distancia máxima de n unidades, a la izquierda o a la derecha. Teniendo esto en mente,
en el siguiente resultado se presenta la distribución de Xn.

Proposición
Para cualesquiera números enteros x y n tales que −n ≤ x ≤ n, y siendo x y n ambos pares o ambos impares,

Probabilidad de regreso a la posición de origen

Se plantea ahora el problema de encontrar la probabilidad de que una caminata aleatoria que inicia en el origen,
regrese eventualmente al punto de partida. Para el caso asimétrico, p ≠1/2, la probabilidad de tal evento es
menor que uno, es decir, no es seguro que ello ocurra, pero en el caso simétrico, p= 1/2, se cumple que con
probabilidad uno la caminata regresa eventualmente al origen.

Proposición
Para una caminata aleatoria sobre Z, la probabilidad de un eventual regreso al punto de partida es

Es decir, sólo en el caso simétrico, p = q, se tiene

la certeza de un eventual retorno, sin embargo el tiempo promedio de regreso en tal caso es infinito.
Puede considerarse también el caso de una caminata en donde sea posible permanecer en el mismo estado
después de una unidad de tiempo. Esta situación se ilustra en la figura (a), en donde p, q y r son probabilidades
tales que p + q + r = 1. También pueden considerarse caminatas aleatorias en Z 2 como la que se muestra en la
figura (b), en donde p + q + r + s = 1, o más generalmente en Zn o cualquier otro conjunto reticulado.

Figura 2.6. Caminatas Aleatorias: mismo estado y en Z2

El problema del Jugador
Este problema es un ejemplo particular de una caminata aleatoria puesta en el contexto de un juego de apuestas.

Planteamiento del Problema

Suponga que un jugador A apuesta sucesivamente una unidad monetaria a un jugador B. Inicialmente el jugador
A tiene k unidades, y B tiene N − k unidades, es decir, el capital conjunto entre los dos jugadores es de N
unidades monetarias. En cada apuesta el jugador A tiene probabilidad de ganar p, y probabilidad de perder q =
1−p, se asume además que no hay empates.
Sea Xn la fortuna del jugador A al tiempo n. Entonces {Xn: n = 0, 1, . } es una caminata aleatoria que inicia en
el estado k y eventualmente puede terminar en el estado 0 cuando el jugador A ha perdido todo su capital, o
bien puede terminar en el estado N que corresponde a la situación en donde el jugador A ha ganado todo el
capital. Este proceso es entonces una caminata aleatoria sobre el conjunto {0,1, . . . ,N}, en donde los estados 0
y N son absorbentes, pues una vez que la cadena llega a alguno de ellos, jamás lo abandona. Una posible
trayectoria cuando la caminata se absorbe en el estado 0 se muestra en la figura.

Una de las preguntas que resolveremos para esta caminata es la siguiente: ¿Cuál es la probabilidad de que
eventualmente el jugador A se arruine? Es decir, ¿Cuál es la probabilidad de que la caminata se absorba en el
estado 0 y no en el estado N, u oscile entre estos dos estados? Este problema se conoce como el problema de la
ruina del jugador. Usando probabilidad condicional es posible transformar este problema en resolver una
ecuación en diferencias.

Solución al problema
Sea τ es el primer momento en el que la caminata visita alguno de los dos estados absorbentes, es decir, τ = mín
{ n ≥ 0 : Xn = 0 ó Xn = N } . Puede demostrarse que esta variable aleatoria is finita casi seguramente. La
pregunta planteada se traduce en encontrar la probabilidad

u k = P X t = 0| X 0 = k 

Por el teorema de probabilidad total se obtiene la ecuación en diferencias:

uk = puk+1 + quk 1 (1)

válida para k = 1, 2, . . . ,N − 1. La interpretación intuitiva de esta identidad es sencilla: A partir del estado k se
busca la probabilidad de ruina analizando lo que sucede en la siguiente apuesta. Se tienen dos casos. El jugador
gana con probabilidad p y ahora se busca la probabilidad de ruina a partir del estado k +1, o bien el jugador
pierde con probabilidad q y se busca la probabilidad de ruina ahora a partir del estado k−1. Las condiciones de
frontera son u0 = 1 y uN = 0. Esta ecuación es una ecuación en diferencias, lineal, de segundo orden y
homogénea. Puede encontrarse su solución de la siguiente forma: multiplicando el lado izquierdo de (1) por (p +
q) y agrupando términos se llega a la expresión equivalente
u k+1  u k = qp uk  u k 1  (2)

Resolviendo iterativamente, las primeras k − 1 ecuaciones se escriben de la forma siguiente:

 Msc. Ing. Marilin Pérez. Procesos Estocá sticos. Unidades 2 y 3
Hemos usado aquí la condición de frontera u0 = 1. Conviene ahora definir Sk = 1 + (q/p) + · · · + (q/p)k pues al
sumar las k − 1 ecuaciones anteriores se obtiene uk − u1 = (Sk−1 − 1) (u1 − 1). O bien

(3)

De manera análoga, ahora sumando todas las ecuaciones de (2) se obtiene uN = 1 + SN −1 (u1 − 1). Usando la
segunda condición de frontera uN = 0 se llega a u1 − 1 = −1/SN −1. Substituyendo en (3) y simplificando se llega
a la solución

Es necesario ahora distinguir los siguientes dos casos:

Por lo tanto,

(4)

En la figura 2.7 se muestra la gráfica de la probabilidad u k como función del parámetro k para varios valores de
p y con N = 50. En el caso simétrico la solución es la línea recta que une la probabilidad uno con la probabilidad
cero. Naturalmente la probabilidad de ruina decrece cuando el capital inicial k aumenta.

Figura 2.7. Gráfica de probabilidad uk

Análisis de la solución
Es importante analizar la fórmula (4). Para el caso simétrico p = 1/2, es decir, cuando el juego es justo, la
probabilidad de ruina es muy cercana a 1 cuando k es muy pequeño comparado con N. Esto sugiere que no
conviene jugar esta serie de apuestas contra adversarios demasiado ricos, a ́ n cuando el juego sea
justo. Es también un tanto inesperado observar que la probabilidad uk es muy sensible a los valores de p
cercanos a 1/2.

9
 Msc. Ing. Marilin Pérez. Procesos Estocá sticos. Unidades 2 y 3

Esto puede apreciarse en la figura 2.8. Cuando p es distante de 1/2 la probabilidad uk es casi constante, pero
para valores de p cercanos a ½ la probabilidad cambia rápidamente de un extremo a otro. Estas gráficas fueron
elaborados tomando N = 50.

Figura 2.8. Variando N

PROCESOS DE MARKOV

Un proceso de Markov tiene la propiedad de que la probabilidad de comportamiento futuro está totalmente
definida si se conoce el estado actual. El conocimiento de estados previos al actual no altera la probabilidad de
comportamiento futuro.
Pr[aX(t) b |X(t1 )= X1, X(t2 )= X2 ,. . ., X(tn )=Xn ]=
= Pr[a X(t)  b | X(t1)=X (t)]
para cualesquiera t1, t 2 , … t
n

Si el conjunto de posibles estados del proceso es numerable, el proceso recibe el nombre de cadena de Markov.
Por otra parte, si todas las posibles realizaciones del proceso Markoviano son funciones continuas del tiempo el
proceso se denomina proceso de difusión.

Para los procesos Markovianos se puede definir una Probabilidad de transición

Pr(Z,t ;Y,s)=Pr[X(t=Z)|X(s)=Y]
En el caso de cadenas de Markov, es posible definir una matriz de probabilidades de transición:

Pi,j(s,t)=Pr[X(t)=Xj | X(s)=Xi]

La ecuación de Chapman-Kolmogorov

La ley de Chapman-Kolomogorov se basa en la ecuación del mismo nombre, a la que llegaron de forma
independiente el matemático británico Sydney Chapman y el matemático ruso Andrei Kolmogorov. Enunciada
de una forma sencilla dice: “la probabilidad de que dos hechos debidos al azar (y que cumplen unas condiciones
determinadas), pasen conjuntamente… es “pequeñísima”.

El concepto era conocido de antemano, y se empleaba en la investigación forense. Por ejemplo, se sabe
que, en un incendio forestal, si hay un solo foco puede ser accidental, pero si hay dos la probabilidad de que sea
provocado es altísima. Dentro del entorno de entrada de datos de las máquinas de Bull (con tarjetas perforadas
tipo Hollerith), se hacía una 2a entrada de datos leyendo al mismo tiempo las tarjetas perforadas en la 1a entrada,
10
 Msc. Ing. Marilin Pérez. Procesos Estocá sticos. Unidades 2 y 3
la maquina pitaba si había alguna diferencia, en caso contrario se daba como correcta, ya que la probabilidad de

11
error pasaba a ser “ínfima”. En ambos ejemplos se está aplicando la ley de Chapman-Kolmogorov, aunque no
se explicite.

Es una de las relaciones más importantes en las cadenas de Markov. Se expresa:

Pi,j(s,t)= 
todor
Pr[X(t)=Xj|X(u)=Xr,X(s)=Xi] Pr[X(u)=Xr|X(s)=Xi]
siendo su t
Por ser un proceso de Markov Pr[X(t)=Xj|
X(u)=Xr,X(s)=Xi]=Pr[X(t)=Xj|X(u)=Xr]=
=Pr,j(u,t)
por otra parte Pr[X(u)=Xr|
X(s)=Xi]=Pi,r(s,u) de donde
Pi,j(s,t)= 
todor
Pi,r(s,u) Pr,j(u,t)

La ecuación de Chapman-Kolmogorov permite obtener las probablidades de transición entre dos estados en un
intervalo de tiempo dado, a través de las probabilidades de transición de los posibles estados intermedios.

La matriz de tasa de transición:

Se define:
H(s,t)  [Pi,j(s,t)]
La ecuación de Chapman-Kolmogorov adopta la forma:
H(s,t)=H(s,u) H(u,t)
y por tanto
H(s,t+ t)=H(s,t) H(t, t+ t) H(s,t+ t)-H(s,t)=H(s,t)[ H(t, t+  t)-I]

Dividiendo por  t y tomando el límite cuando  t0

Definiendo

Se obtiene la forma diferencial de la ecuación de Chapman-Kolmogorov:

Y por lo tanto
La matriz Q(s,t) se denomina matriz de tasa de transición y representa la variación instantánea de las
probabilidades de transición de un estado a otro.

 La forma diferencial de la ecuación de Chapman-Kolmogorov establece una evolución dinámica de las

probabilidades de transición y por tanto, de la probabilidad de encontrar el proceso en un determinado
estado a medida que transcurre el tiempo.
 La evolución de las probabilidades de estado viene dada por un conjunto de ecuaciones diferenciales
lineales que pueden ser resueltas obteniendo la solución y realizar un análisis del transitorio y del
estacionario de la probabilidad de estado

EJERCICIOS CADENAS DE MARKOV

1. En nuestro país existen 3 operadores principales de telefonía móvil como lo son Movilnet, Movistar y Digitel, los
porcentajes actuales que tiene cada operador en el mercado actual son para Movilnet de 0,40, para movistar de 0,25, para
Digitel de 0,35. Se tiene la siguiente información: un usuario actualmente de Movilnet tiene una probabilidad de
permanecer en Movilnet de 0,60 de pasar a movistar 0,20 y de pasarse a Digitel 0,20. Si en la actualidad el usuario es
cliente de movistar tiene una probabilidad de mantenerse en movistar de 0,50 de que esta persona cambie a Movilnet es de
0,30 y para Digitel 0,20; si el usuario es cliente en la actualidad de Digitel la probabilidad de que permanezca con Digitel
0,40 de que cambie a Movilnet 0,30 y a movistar 0,30. Se pide
a) Modele el problema como una cadena de Markov y encuentre la matriz de transición.
b) Elaborar el DTE.
c) Cuál es la proporción dentro de dos meses.

2. El departamento de estudios de mercado de una fábrica estima que el 20% e la gente que compra un producto un mes,
no lo comprara el mes siguiente, además, el 30% de quienes no lo compren un mes lo adquirirá al mes siguiente, en una
población de 1000 individuos, 100 compraron el producto el primer mes. ¿Cuántos lo compraran al mes próximo? ¿y
dentro de dos meses?

3. En una población de 10,000 habitantes, 5000 no fuman, 2500 fuman uno o menos de un paquete diario y 2500 fuman
más de un paquete diario, en un mes hay un 5% de probabilidad de que un no fumador comience a fumar un paquete
diario, o menos, y un 2% de que un no fumador pase a fumar más de un paquete diario, para los que fuman un paquete, o
menos, hay un 10% de probabilidad de que dejen el tabaco, y un 10% de que pasen a fumar un paquete, o menos.
¿Cuántos individuos habrá de cada clase el próximo mes?

4. Una urna contiene dos bolas sin pintar, se selecciona una bola al azar y se lanza una moneda, si la bola elegida no está
pintada y la moneda produce cara, pintamos la bola de rojo; si la moneda produce cruz, la pintamos de negro, si la bola ya
está pintada, entonces cambiamos el color de la bola de rojo a negro o de negro a rojo, independientemente de si la
moneda produce cara o cruz. Modele el problema como una cadena de Markov y encuentre la matriz de probabilidades de
transición.

5. Después de mucho estudio sobre el clima, hemos visto que si un día está soleado, en el 70% de los casos del día
siguiente continuo soleado y en el 30% se pone nublado, también nos fijamos en que si un día está nublado, la
probabilidad de que esté soleado el día siguiente es 0.6 y la probabilidad de que se ponga nublado es 0.4, además, si un día
está soleado la probabilidad de que continúe soleado el día siguiente es 0.7 y la probabilidad de que al día siguiente esté
nublado es 0.3, entonces: Modele el problema como una cadena de Markov y encuentre la matriz de probabilidades de
transición