REPBLICA BOLIVARIANA DE VENEZUELA

UNIVERSIDAD NACIONAL EXPERIMENTAL POLITCNICA

ANTONIO JOS DE SUCRE
DIP MAESTRA EN INGENIERA ELECTRNICA
(OPCIN TELECOMUNICACIONES)

Facilitadora:
MSc. Marienny Arrieche
Participantes:
Ing. Hctor Martnez S.
Ing. Oskar Snchez G.
Fecha: Noviembre, 2012


En el contexto cientfico - tecnolgico actual, el cual se caracteriza por los
aleatoriedad y dinamismo, se requiere de la utilizacin de modelos que permiten estudiar
los procesos aleatorios en el tiempo, cuya base se sustenta en los procesos estocsticos.
Los procesos estocsticos, se constituyen por familias de variables aleatorias
definidas en el tiempo sobre un espacio de probabilidad.



En este orden de ideas, las cadenas de Markov, constituyen un tipo especial de estos
procesos, cuya propiedad fundamental indica que al conocer el estado de un proceso en un
momento dado, su comportamiento futuro no depende del pasado. Es decir que al conocer
el presente, el futuro es un estado independiente del pasado.
Es de notar, que los procesos estocsticos se fundamentan en los valores que puede
tomar una variable aleatoria (estado) por lo que se puede tener un espacio d estados
discretos y un espacio de estados continuo. Por otro lado, la variable de tiempo puede ser
de tipo discreto o de tipo continuo. Para ejemplificar, se pueden considerar los cambios de
estado que ocurran en forma semanal, mensual, etc lo cual se corresponde a un tiempo
{ } T t X
t
e 9 O , :
( ) ( ) t X X
t
, e e e =
discreto; mientras que para tiempo continuo, se pueden tomar en cuenta los cambios de ese
estado en cualquier instante.
En la Figura 1, se muestra la clasificacin de los Procesos Estocsticos, referenciado
al tipo de variables y al tiempo.


Figura 1: Clasificacin de los Procesos Estocsticos

Es de notar, que dependiendo del tipo de proceso estocstico, se puede establecer un
una forma de proceder en funcin a las cadenas de Markov, motivado a que las variables
aleatorias inmersas dentro de estos procesos incluyen un formato de probabilidad
condicionada, probabilidad de transicin o cambio de estado.
Un ejemplo, para una cadena de Markov, podra ser, considerar la revisin de un
equipo transmisor al inicio de cada da, con la finalidad de verificar si est operativo o
daado. Esta revisin, permite generar un diagrama de estados, cuya relacin entre ellos,
sea el cambio de un estado a otro.

Figura 2: Matriz de Transicin

Es de notar, que en un da cualquiera el transmisor puede estar daado y al
comenzar el siguiente da, solo puede ocurrir una de dos cosas: que contine daado o que
haya sido reparado en ese da. Por otro lado, si el equipo del ejemplo, se encuentra
funcionando correctamente, al comenzar el siguiente da solo pueden ocurrir dos cosas: que
se dae o que contine su correcto funcionamiento.
En referencia al ejemplo anterior, es de inters cuestionarse sobre la probabilidad de
operatividad existente en un da n. Este cuestionamiento, tiene como consecuencia una
probabilidad de ocupacin de estado, que se puede representar como

o tambin

, de forma anloga la probabilidad de que el transmisor est daado en la primera

oportunidad de observacin se representa como

; teniendo en cuenta que 0

representa el estado: daado y 1 representa el estado: operativo.
Entonces, se puede determinar por cadenas de Markov:

Que se pueden, insertar en una matriz de estados:


En general, la cadenas de Markov con k estados posibles s
1
, s
2
, s
3
,, s
k
y
probabilidades estacionarias. Para i= 1, 2, 3,k y j= 1, 2, 3,k, se denota como p
ij
a la
probabilidad condicionada de que el proceso est en el estado s
j
en un determinado
momento, si estuvo en el estado s
i
en el momento inmediatamente anterior. Entonces, la
matriz de transicin de la cadena de Markov se define como una matriz cuadrada de orden k
x k de la siguiente forma:

En la cual el elemento en la fila i, columna j,

Representa la probabilidad de transicin de un paso.

La representacin de estados en forma matricial, tiene entre sus ventajas que
facilitar el cmputo de las probabilidades de transicin en ms de una paso. Tal que P x P =
P
2
, que se corresponde a las probabilidades de transicin en dos pasos, y P
m
es la matriz de
transicin en m pasos de la cadena de Markov


Cadenas de Markov en tiempo discreto

La definicin de las cadenas de Markov para tiempos discretos requiere tomar en
cuenta a una variable aleatoria en tiempo discreto {

} de tal manera que su

probabilidad viene dada por

, que anlogamente se puede representar como

), de all que la probabilidad condicional para esa variable viene dada por

.
Entonces, se define una cadena de Markov como un proceso estocstico a tiempo discreto
{

} con espacio discreto para cualquier entero y para cualquier

estado

, que cumpla la condicin

.
Cabe destacar, que la definicin matemtica anterior, tomar en cuenta a la variable
discreta n como un elemento temporal, de tal manera que n+1 representa un tiempo
futuro, n un tiempo presente y los tiempos 0,1,n-1 como tiempos pasados. Entonces,
se puede evidenciar que la distribucin de probabilidad del estado de proceso a tiempo
futuro, depende exclusivamente del estado del proceso en el tiempo presente.
Utilizando la regla de multiplicacin para probabilidades condicionales, se deduce
que las probabilidades de una cadena de Markov debe satisfacer la relacin



(Degroot, M; 1988, p. 70)

Cadenas de Markov de Tiempo Continuo

Existen ciertos casos (como en algunos modelos de lneas de espera) en los que se
requiere un parmetro, generalmente denotado como t, de tiempo continuo, debido a
que la evolucin de un proceso se est observando de manera continua a travs del tiempo.
Un proceso estocstico de tiempo continuo { } es una cadena de Markov
de tiempo continuo que cumple con la propiedad markoviana. En este sentido, las cadenas
de Markov deben cumplir con las siguientes propiedades.
a) Un nmero finito de estados.
b) Probabilidades de transicin estacionaria.

Variables Aleatorias Importantes:

Cada vez que el proceso entra en el estado , la cantidad de tiempo que pasa en ese
estado antes de cambiar a un estado diferente, es una variable aleatoria donde
.
La distribucin exponencial posee la propiedad de que la distribucin de
probabilidad de tiempo que falta para que el proceso haga una transicin fuera de un estado
siempre es la misma, independientemente de cunto tiempo haya pasado el proceso en ese
estado.
Tiene solo un parmetro, llmese , donde la media es y la funcin de
distribucin acumulada es:
{

Para
Este resultado lleva a una forma equivalente de definir una cadena de Markov de
tiempo continuo.
a) La variable aleatoria

tiene una distribucin exponencial con media .

b) Cuando sale un estado , el proceso cambia a otro estado , como
probabilidades

, en donde satisface las condiciones.

Para toda y

Para toda
c) El siguiente estado visita despus el estado es independiente del tiempo que
paso en el estado .
Las intensidades de transicin son

para

Para
Donde

es la funcin de probabilidad de transicin de tiempo continuo.

Es importante destacar que al considerar un proceso de Markov en que el sistema
posee n estadosposibles, dados por los nmeros 1, 2, 3,..., n. Se denota al producto ij p a
la probabilidad de queel sistema pase al estado j despus de cualquier ensayo en donde su
estado era i antesdel ensayo. Los nmeros ij p se denominan probabilidades de transicin y
la matriz nxnP = (pij) se conoce como matriz de transicindel sistema
Una cadena de Markov es un tipo especial de proceso estocstico, que sepuede
describir como sigue: En cualquier instante de tiempo n dado, cuando el estadoactual

, y
todos los estados previos

, . . . ,

del proceso son conocidos, las probabilidadesde los

estados futuros

dependen solamente del estado actual

y no dependen de los
estados anteriores

.Formalmente, una cadena deMarkov es un proceso

estocstico tal que para y para cualquier sucesinposible de estados

(op.cit; p. 70)

Estados Absorbentes

El estado K se llama estado absorbente si la probabilidad de transicin (de un paso)

, de manera que cada vez que la cadena llegue al estado permanece ah para
siempre.
Si es u estado absorbente y el proceso comienza en el estado , la probabilidad de
llegar en algn momento a se llama probabilidad de absorcin al estado dado que el
sistema comenz en .
Si el estado es absorbente, entonces el conjunto de probabilidades de absorcin

satisface el sistema de ecuaciones.

Para
Sujeta a las condiciones:

.
Si el estado es recurrente e
A partir de esto se deduce que una cadena de Markov se puede considerar como
absorbente si tiene por lo menos un estado absorbente; as como tambin si es posible ir de
cada estado no absorbente hasta por lo menos un estado absorbente, para lo que no es
necesario efectuar esta transicin en un solo paso, ni tener la probabilidad de alcanzar cada
estado absorbente a partir de uno no absorbente.
Cabe destacar, que a partir de este anlisis se puede encontrar el nmero esperado
de pasos antes de que el proceso sea absorbido, el nmero esperado de veces que el proceso
est en cualquier estado no absorbente, y la probabilidad de absorcin por cualquier estado.
Una vez, que una cadena llega a un estado absorbente, permanece all para siempre,
entonces si una cadena posee dos estados absorbentes, es claro que el proceso de elimina en
uno de ellos.

Las Propiedades de Markov y Matrices de Transicin

Los procesos estocsticos tienen ciertas restricciones como:
Que el proceso sea de tiempo discreto.
Que tenga un espacio de estado numerable o finito.
Que el proceso satisfaga la propiedad de Markov.
Si los procesos estocsticos satisfacen las tres restricciones anteriormente
mencionadas se les llama cadenas de Markov.

Ecuaciones de Chapman Kolmogorov

Al considerar la probabilidad condicional para dos estados sucesivos de una variable
aleatoria, en n pasos, se utiliza un desarrollo matemtico denominado ecuaciones de
Chapman - Kolmogorov, las cuales permiten calcular probabilidades de transicin en n
pasos.

, para toda i, j, y n con

En sentido general, estas ecuaciones permiten ir del estado i al estado j en n
pasos, en los que el proceso se ubica en un estado k despus de exactamente m (m < n)
pasos.
Los elementos

, representan la probabilidad condicional referida a los

estados i y j, la cual da origen a una ley con el mismo nombre, que establece que la
probabilidad de que dos hechos sucedan conjuntamente debido al azar y que cumplan
ciertas condiciones, es mnima.



La paradoja de Borel Kolmogorov

La paradoja de Borel Kolmogorov, es una ambigedad presente en el clculo de
una funcin de densidad de probabilidad condicional de una variable aleatoria dada otra,
puede ser definida condicionalmente en un suceso cuya probabilidad es cero.

Clasificacin de los Estados en Cadenas de Markov

Los estados en cadenas de Markov, se clasifican en:
- Accesibles.
- Absorbentes.
- Peridicos.
- Recurrente.
- Transciente.
- Recurrente positivo
- Recurrente nulo.
En referencia a los estados accesibles, se debe tener en cuenta la existencia de una
probabilidad de nula que comenzando en un estado i se puede llegar a un estado j al cabo de
un cierto numero de etapas, afirmando que el estado j es accesible desde i. Cabe destacar,
que para llegar de un estado a otro un proceso puede pasar por diversos pasos, para lo cual
no importa el valor exacto de la probabilidad para n pasos cualesquiera; no obstante debe
verificarse esa condicin de accesibilidad. Entonces se tiene que dos estados son accesibles
(viceversa) si se dice que se comunican y que pertenecen a una misma clase de estados.
Una cadena de Markov en la que todos sus estados son accesibles entre si, es irreductible,
es decir que existe una nica clase de estados.
Otra clasificacin de las cadenas de Markov obedece a los estados absorbentes, los
cuales no se comunican entre si, es decir que no son accesibles. Los estados absorbentes
pertenecen a una distinta clase de estados, entonces cuando se est en ellos la probabilidad
de continuar en ese estado es 1. Es importante destacar, que los estados absorbentes definen
una clase de estados por si mismos.
Por otro lado, se debe considerar que los estados se definen por un carcter
peridico, el cual se define por la relacin

0, la cual existe
solo para valores de n que se corresponden al conjunto (d, 2d, 3d,). Si d = 1 decimos que
el estado es aperidico.
Tambin se puede considerar un estado peridico, si partiendo de ese estado, solo se
puede volver a l en un numero de etapas que sea mltiplo de un cierto numero entero
mayor que uno.
Un estado es recurrente, en la medida que comenzando en l se tenga la certeza de
volver en algn momento del tiempo (una determinada cantidad de etapas) sobre si mismo;
y es transciente si no hay certeza de regresar a si mismo, generalmente debido a la
existencia de una probabilidad no nula de acceder a un estado absorbente.
Finalmente, en una cadena de Markov con una cantidad finita de estados, estos
pueden ser recurrente positivo; mientras que si la cantidad de estados es infinita entonces
son recurrente nulo.

Cadenas de Markov con parmetros continuos:

Las cadenas de Markov pueden operarse en tiempos continuos en los cuales las
variables toman valores enteros. { } , de tal manera que inicia en un estado

al
tiempo cero. El proceso permanece en ese estado un tiempo aleatorio

y seguidamente
salta a un nuevo estado

distinto del anterior, con un tiempo aleatorio

y as en forma
sucesiva. Entonces, los tiempos aleatorios T son los tiempos en los que el proceso est
constante en alguno de sus estados y se denominan tiempos de estancia, mientras que los
momentos en donde el proceso tiene saltos son los tiempos

para
. De all que el proceso se puede representar como:

El proceso anteriormente descrito, representa un proceso de saltos, el cual
necesariamente no tiene que estar definido para tiempos continuos. En un proceso de
Markov a tiempo continuo, las probabilidades de saltos

y las probabilidades de
transicin representas caractersticas diferentes del proceso. Las probabilidades de saltos
son probabilidades de cambio de un estado a otro cuando tiene un salto, mientras que las
probabilidades de transicin son las probabilidades de encontrar al proceso en un estado j
partiendo de i, al trmino de un intervalo de tiempo de longitud t.
Adems, un proceso de Markov a tiempo queda completamente especificado por
una distribucin de probabilidad inicial en el espacio de estados, el conjunto de los
parmetros no negativos de y las probabilidades de saltos entre los estados i y j.

Aplicaciones de las Cadenas de Markov:

Las cadenas de Markov tienen aplicaciones en diversas ramas de la ciencia, como
en la electrnica, donde se emplean tcnicas que pueden contribuir con la deteccin de
blancos areos mediante un RADAR como por ejemplo, todo esto usando mtodos
estocsticos de Markov. Tambin posee aplicacin en el reconocimiento de gestos faciales
mediante visin artificial.
Por otra parte, en la fsica las tcnicas markovianas son usadas en muchos
problemas de la termodinmica y la fsica estadstica.
En la meteorologa de considerarse el clima de una regin especifica a lo largo de
diferentes das, puede determinarse que el estado actual es intrnseco del ltimo estado y no
de toda la cadena o historia en s, de modo que se pueden usar cadenas de Markov para
formular modelos climatolgicos bsicos.
En la simulacin las cadenas de Markov son utilizadas para proveer una solucin
analtica a ciertos problemas de electrnica y a otras ramas de la ingeniera ms puntuales
como el estudio de la investigacin de operaciones.
En internet la utilizacin la utilizacin de google en sus motores de bsqueda, es
definido por medio de una cadena de Markov, donde la posicin que tendr una pgina en
el buscador ser determinada por su peso en la distribucin estacionaria de la cadena.
En los procesos epidemiolgicos es importante destacar la aplicacin de las cadenas
de Markov con especial nfasis en el proceso Galton-Watson. Este es un proceso de
ramificacin que se puede usar, entre otras cosas, para modelar el desarrollo de una
epidemia.
En los juegos de azar con muchos los problemas que se pueden modelar mediante
una cadena de Markov. El modelo de la ruina del jugador, que establece la probabilidad de
que una persona que apuesta en un juego de azar finalmente termine sin dinero por ejemplo.
En la economa y finanzas los procesos markovianas se utilizan para modelos
simples de valuacin de opciones que permitan determinar cuando existe oportunidad de
arbitraje, as como en el modelo de colapsos de la bolsa de valores o para determinar la
volatidad de los precios. En los negocios, las cadenas de Markov se han utilizado para
analizar los patrones de compra de los deudores morosos, para planear las necesidades de
personal y para analizar el reemplazo de quipo.
En la msica se utilizan diferentes algoritmos de composicin musical que usan
cadenas de Markov, por ejemplo el software Csound o Max.

Ejemplo de Aplicaciones:

1. Deteccin de blancos areos por parte de un RADAR primario de
vigilancia:
Objetivo: Detectar de forma positiva un blanco areo sin la colaboracin de
este.
Se utiliza el mtodo HRR (High Resolution Radar). Se basa en el estudio de las
caractersticas del eco recibido. Tal y como lo muestra la figura.


Figura 4: Deteccin de blancos areos.







Figura 5: Forma de onda recibida.

Se produce una reflexin radar diferente de en funcin de la forma del
blanco.
Todo esto depende de los centros de scatter:


Figura 6: Reflexin del Blanco

las seales a clasificar son muy parecidas entre s.
Dependen del ngulo de observacin.
Las regiones de decisin estn muy solapadas.
La correlacin equivoca a menudo la clasificacin.


Figura 7: Posibles Blancos Figura 8: Modelado en MATLAB

Figura 8: Proceso Markov

Resultados:
Se utilizan secuencias de entrenamiento para cada modelo y existe una base de
datos de observaciones con 800 arreglos de 10 elementos.

PORCENTAJE DE ERROR MODELOS DE MARKOV CORRELACIN
Modelo 2 0% 40%
Modelo 3 0% 50%
Modelo 4 0% 40%
Modelo 5 0% 40%
Modelo 6 0% 40%
Modelo 7 0% 40%
Modelo 8 0% 30%
Modelo 9 0% 40%





2. Reconocimiento de Gestos:

Se han colocado unas pegatinas en la cara del usuario y se estudia su
evolucion en la realizacion de gestos mediante cadenas de Markov.
Las pegatinas se segmentan mediante un algoritmo de deteccin de color
con funciones gaussianas a priori.
Se han creado HMMs: Dos modelan la apertura de la boca y el ltimo del
estiramiento de la boca.


Figura 9: Proceso Markov

Figura 10: Matriz de Transicin

Como observacion para obtener el grado de apertura del ojo se usa la coleanidad
presentada por su contorno.
Como observacin para estimar la apertura de la boca se utiliza la diferencia entre
los centros de gravedad de las pegatinas superior e inferior de la boca.
Para el estiramiento se utiliza la diferencia de componentes x de las pegatinas
izquierda y derecha.


Definicin de estados:
Para los ojos: Cerrado, semicerrado y abierto.
Para la apertura de la boca: Abierta, semiabierta y cerrada.
Para el estiramiento de la boca: Estirada, semiestirada y encogida.
Se capturan abservaciones de cada tipo (boca y ojos) y se efecta el entrenamiento
de los 4 HMM.
El entrenamiento ajusta los valores de [A], [B] y [].



Figura 11: Estados Posteriores

Figura 11: Estados de Posteriores























Referencias Bibliogrficas:

Fonollosa, J y otros (2002). Mtodos Cuantitativos de Organizacin Industrial II.
UPC. Espaa. [En lnea] Disponible en: http://books.google.co.ve/
Rincn, L. (2012). Introduccin a los procesos estocsticos. UNAM. Mxico.
Castro, A y Otros (2008). Manual de Investigacin de Operaciones II. Instituto
Tecnolgico de Cerro Azul, Mxico. [En lnea], Disponible en:
http://es.scribd.com/doc/61178886/23/ESTADOS-ABSORBENTES
Torres, H (2012). Cadenas de Markov con estados absorbentes. Blog Digital [En
lnea], Disponible en: http://invop2.blogspot.com/2011/06/cadenas-de-markov-con-
estados.html
S/A (2012). Cadenas de Markov estados absorbentes y de tiempo continuo.
Instituto Tecnolgico de Reynosa [En lnea], Disponible en:
http://www.slideshare.net/albertojeca/cadenas-de-markov-estados-absorbentes-y-de-
tiempo-continuo#btnNext
Pacheco, J. (2003). Solucin de un proceso markoviano por programacin dinmica.
[En lnea], Disponible en: http://es.scribd.com/doc/52215031/8/ECUACIONES-DE-
CHAPMAN-KOLMOGOROV
Bergasa P. Luis M. Introduccin a los modelos ocultos de Markov. [En lnea],
disponible en,
http://www.bioingenieria.edu.ar/academica/catedras/metestad/Introduccion%20al%20Mode
lo%20oculto%20de%20Markov.pdf