Chaine de Markov

Pr.
Chaabane
Djamal
C haîne de M arkov
M&R
Chaînes de
L icence - Recherche Opérationnelle
Markov
Introduction
Matrices Stochastiques
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Passage par un état fixe
Etude
asymptotique Département de Recherche Opérationnelle
Résultats
dŠalgèbre USTHB- /Faculté des Mathématique
linéaire pour les
chaînes de
Le Plan du cours
Pr. Chaabane
Djamal
1 Chaînes de Markov
Introduction
M&R
Relation de Chapman-Kolmogorov
Chaînes de
Markov 2 Illustrations
Introduction
Illustration 1
Relation de
Chapman-Kolmogorov
Illustrations
3 Classification des états
Illustration 1
Classification
des états
Passage par un état fixe 4 Etude asymptotique
Etude
asymptotique
5 Résultats dŠalgèbre linéaire pour les chaînes de Markov
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Plan
Pr. Chaabane
Djamal
Introduction
M&R
Chaînes de
Introduction
Illustration 1
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C aînes de M arkov
Pr. Chaabane
Djamal I On considère un espace de probabilité (Ω, A , P).
M&R
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C aînes de M arkov
Pr. Chaabane
I X1 , · · · , Xn une suite de variables aléatoires de valeurs dans
un ensemble E; n ∈ N.
M&R
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C aînes de M arkov
Pr. Chaabane
M&R I Quand Xn prend la valeur i,
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C aînes de M arkov
Pr. Chaabane
M&R I Quand Xn prend la valeur i, on dit que le système est à l’état i
à l’instant n,
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C aînes de M arkov
Pr. Chaabane
à l’instant n, on écrit ∀ω ∈ Ω; Xn (ω) = i
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C aînes de M arkov
Pr. Chaabane
à l’instant n, on écrit ∀ω ∈ Ω; Xn (ω) = i et l’ensemble des
Chaînes de
Markov
valeurs de Xn ; ∀n ∈ N est appelé ensemble des états .
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C aînes de M arkov
Pr. Chaabane
Chaînes de
Markov
Introduction
Définition
Relation de
Chapman-Kolmogorov
Illustrations
Le processus stochastique X = {Xn ; , n ∈ N} est une chaîne de
Illustration 1
Markov si
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C aînes de M arkov
Pr. Chaabane
Chaînes de
Markov
Introduction
Définition
Relation de
Chapman-Kolmogorov
Illustrations
Le processus stochastique X = {Xn ; , n ∈ N} est une chaîne de
Illustration 1
Markov si
Classification
des états
Etude
asymptotique
P (Xn+1 = j | X0 , X1 , · · · , Xn ) = P (Xn+1 = j | Xn )
Résultats
∀j ∈ E ∀n ∈ N
dŠalgèbre
linéaire pour les
chaînes de
C aînes de M arkov
Pr. Chaabane N otation

Djamal
P (Xn+1 = j | Xn = i) = Pi,j ∀i, j ∈ E

M&R
Ces probabilités constituent une matrice dite

Chaînes de
Markov matrice de probabilités de transition .
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C aînes de M arkov
Pr. Chaabane N otation

Djamal
P (Xn+1 = j | Xn = i) = Pi,j ∀i, j ∈ E

M&R
Ces probabilités constituent une matrice dite

Chaînes de
Markov matrice de probabilités de transition .
Introduction
Relation de
Probabilités de transition
Considérons un ensembles des états E = {0, 1, 2, · · · , }. On écrit
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
p00 p01 p02 · · · 
 
Passage par un état fixe 
P = 

Etude
 p10 p11 p12 · · · 
asymptotique
.. .. .. . . 
. . . .

Résultats
dŠalgèbre
linéaire pour les
chaînes de
Plan
Pr. Chaabane
Djamal
Introduction
M&R
Chaînes de
Introduction
Illustration 1
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C aînes de M arkov
Pr. Chaabane
Djamal
M atrice S tochastique
La matrice Pest dite matrice de MARKOV si
M&R ¶ pij ≥ 0, , ∀i, j ∈ E
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C aînes de M arkov
Pr. Chaabane
Djamal
M&R ¶ pij ≥ 0, , ∀i, j ∈ E
X
· pij = 1 ∀i ∈ E
Chaînes de
Markov j∈E
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C aînes de M arkov
Pr. Chaabane
Djamal
M&R ¶ pij ≥ 0, , ∀i, j ∈ E
X
· pij = 1 ∀i ∈ E
Chaînes de
Markov j∈E
Introduction
Matrices Stochastiques M atrice S tochastique
Relation de
Chapman-Kolmogorov
Inversement,
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C aînes de M arkov
Pr. Chaabane
Djamal
M&R ¶ pij ≥ 0, , ∀i, j ∈ E
X
· pij = 1 ∀i ∈ E
Chaînes de
Markov j∈E
Introduction
Relation de
Chapman-Kolmogorov
Inversement, pour toute matrice Markovienne donnée,
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C aînes de M arkov
Pr. Chaabane
Djamal
M&R ¶ pij ≥ 0, , ∀i, j ∈ E
X
· pij = 1 ∀i ∈ E
Chaînes de
Markov j∈E
Introduction
Relation de
Chapman-Kolmogorov
Inversement, pour toute matrice Markovienne donnée, sur un en-
Illustrations
Illustration 1 semble dénombrable E,
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C aînes de M arkov
Pr. Chaabane
Djamal
M&R ¶ pij ≥ 0, , ∀i, j ∈ E
X
· pij = 1 ∀i ∈ E
Chaînes de
Markov j∈E
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1 semble dénombrable E, il est possible de construire un échantillon
Classification d’un espace Ω,
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C aînes de M arkov
Pr. Chaabane
Djamal
M&R ¶ pij ≥ 0, , ∀i, j ∈ E
X
· pij = 1 ∀i ∈ E
Chaînes de
Markov j∈E
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Classification d’un espace Ω, une probabilité p sur tous les sous-ensembles de Ω
des états
Passage par un état fixe (tribu)
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C aînes de M arkov
Pr. Chaabane
Djamal
M&R ¶ pij ≥ 0, , ∀i, j ∈ E
X
· pij = 1 ∀i ∈ E
Chaînes de
Markov j∈E
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
des états
Passage par un état fixe (tribu) et des variables aléatoires X1 , X2 , · · · définies sur Ω prenant
Etude ses valeurs dans E telles que
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C aînes de M arkov
Pr. Chaabane
Djamal
M&R ¶ pij ≥ 0, , ∀i, j ∈ E
X
· pij = 1 ∀i ∈ E
Chaînes de
Markov j∈E
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
des états
Passage par un état fixe (tribu) et des variables aléatoires X1 , X2 , · · · définies sur Ω prenant
Etude ses valeurs dans E telles que X = {X1 , X2 , · · · , } est une chaîne de
asymptotique
Markov.
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Plan
Pr. Chaabane
Djamal
Introduction
M&R
Chaînes de
Introduction
Illustration 1
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C aînes de M arkov
Pr. Chaabane
Djamal
I Soit X une chaîne de Markov, de matrice de probabilités de

M&R transition P, et espace des états E.
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C aînes de M arkov
Pr. Chaabane
Djamal

Chaînes de I Soient i, j, k trois états fixés dans E. On a :

Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C aînes de M arkov
Pr. Chaabane
Djamal


Markov
Introduction
I P (X6 = j, X7 = k | X5 = i)
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C aînes de M arkov
Pr. Chaabane
Djamal


Markov
Introduction
I P (X6 = j, X7 = k | X5 = i) =
Relation de
Chapman-Kolmogorov P (X7 = k | X5 = i, X6 = j) P (X6 = j | X5 = i)
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C aînes de M arkov
Pr. Chaabane
Djamal


Markov
Introduction
I P (X6 = j, X7 = k | X5 = i) =
Relation de
Illustrations
Illustration 1 I Or P (X7 = k | X5 = i, X6 = j) = P (X7 = k | X6 = j) = pjk
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C aînes de M arkov
Pr. Chaabane
Djamal


Markov
Introduction
I P (X6 = j, X7 = k | X5 = i) =
Relation de
Illustrations
Illustration 1 I Or P (X7 = k | X5 = i, X6 = j) = P (X7 = k | X6 = j) = pjk
Classification
des états
I Donc P (X6 = j, X7 = k | X5 = i) = pij × pjk
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C aînes de M arkov
Pr. Chaabane
Djamal
T héorème
Pour tout n, m ∈ N avec m ≥ 1 et i0 , i1 , · · · , im ∈ E
M&R
P (Xn+1 = i1 , · · · , Xn+m = im | Xn = i0 ) = Pi0 ,i1 × · · · × Pim−1 ,im

Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C aînes de M arkov
Pr. Chaabane
Djamal
T héorème
M&R

Chaînes de
Markov
Introduction
En posant n = 0 on obtient :
Relation de
Chapman-Kolmogorov C orollaire
Illustrations
Illustration 1
Soit π une loi de probabilité sur E, on suppose que
Classification
P (X0 = i) = πi ∀i ∈ E.
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C aînes de M arkov
Pr. Chaabane
Djamal
T héorème
M&R

Chaînes de
Markov
Introduction
Relation de
Illustrations
Illustration 1
Classification
P (X0 = i) = πi ∀i ∈ E. Alors ∀m ∈ N et i0 , · · · , im ∈ E,
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C aînes de M arkov
Pr. Chaabane
Djamal
T héorème
M&R

Chaînes de
Markov
Introduction
Relation de
Illustrations
Illustration 1
Classification
P (X0 = i) = πi ∀i ∈ E. Alors ∀m ∈ N et i0 , · · · , im ∈ E,
des états
P (X0 = i0 , · · · , Xm = im ) = πi0 Pi0 ,i1 × · · · × Pim−1 ,im

Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C aînes de M arkov
Pr. Chaabane
Djamal I ∀h, i, j, k ∈ E on écrit
M&R
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C aînes de M arkov
Pr. Chaabane
I P (Xn+1 = i, Xn+2 = j, Xn+3 = k | Xn = h) = phi pij pjk
M&R
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C aînes de M arkov
Pr. Chaabane
I On a
M&R
X X
Chaînes de
P (Xn+3 = k | Xn = h) = phi pij pjk
Markov i∈E j∈E
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C aînes de M arkov
Pr. Chaabane
I On a
M&R
X X
Chaînes de
Markov i∈E
X j∈E
= phi p(2)
Introduction
ik
Relation de
Chapman-Kolmogorov i∈E
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C aînes de M arkov
Pr. Chaabane
I On a
M&R
X X
Chaînes de
Markov i∈E
X j∈E
= phi p(2)
Introduction
ik
Relation de
Illustrations
Illustration 1
= p(3)
hk
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C aînes de M arkov
Pr. Chaabane
I On a
M&R
X X
Chaînes de
Markov i∈E
X j∈E
= phi p(2)
Introduction
ik
Relation de
Illustrations
Illustration 1
= p(3)
hk
Classification
des états
p(2) la matrice P2
ik
est l’élément (i, k) de
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C aînes de M arkov
Pr. Chaabane
I On a
M&R
X X
Chaînes de
Markov i∈E
X j∈E
= phi p(2)
Introduction
ik
Relation de
Illustrations
Illustration 1
= p(3)
hk
Classification
des états
p(2) la matrice P2
ik
est l’élément (i, k) de
Etude
asymptotique
Résultats
dŠalgèbre
p(3)
hk
est l’élément (h, k) de la matrice P3
linéaire pour les
chaînes de
C aînes de M arkov
Pr. Chaabane
Djamal
Proposition
∀m ∈ N on a
M&R
Chaînes de
Markov
P (Xn+m = j | Xn = i) = p(m)
ij ∀i, j ∈ E, n ∈ N
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C aînes de M arkov
Pr. Chaabane
Djamal
Proposition
∀m ∈ N on a
M&R
Chaînes de
Markov
P (Xn+m = j | Xn = i) = p(m)
ij ∀i, j ∈ E, n ∈ N
Introduction
Relation de
Chapman-Kolmogorov
Pn+m = Pn Pm
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C aînes de M arkov
Pr. Chaabane
Djamal
Proposition
∀m ∈ N on a
M&R
Chaînes de
Markov
P (Xn+m = j | Xn = i) = p(m)
ij ∀i, j ∈ E, n ∈ N
Introduction
Matrices Stochastiques X
Relation de
Chapman-Kolmogorov
Pn+m = Pn Pm =⇒ p(n+m)
ij = p(n) p(m)
ik kj
Illustrations k∈E
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C aînes de M arkov
Pr. Chaabane
Djamal
Proposition
∀m ∈ N on a
M&R
Chaînes de
Markov
P (Xn+m = j | Xn = i) = p(m)
ij ∀i, j ∈ E, n ∈ N
Introduction
Matrices Stochastiques X
Relation de
Chapman-Kolmogorov
Pn+m = Pn Pm =⇒ p(n+m)
ij = p(n) p(m)
ik kj
Illustrations k∈E
Illustration 1
Classification
des états
Relation de CHAPMAN-KOLMOGOROV
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Plan
Pr. Chaabane
Djamal
Introduction
M&R
Chaînes de
Introduction
Illustration 1
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane E xemple 1
Djamal
Soit X = {Xn | n ∈ N} une chaîne de Markov avec E = {a, b, c} et
 
M&R
 0.50 0.25 0.25 
P =  0.67 0.00 0.33 
 
Chaînes de  
Markov 0.60 0.40 0.00
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Djamal
 
M&R
 0.50 0.25 0.25 
P =  0.67 0.00 0.33 
 
Chaînes de  
Markov 0.60 0.40 0.00
Introduction
Relation de
Chapman-Kolmogorov
I Objectif
Illustrations
Illustration 1
Classification P (X1 = b, X2 = c, X3 = a, X4 = c, X5 = a, X6 = c, X7 = b
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Djamal
 
M&R
 0.50 0.25 0.25 
P =  0.67 0.00 0.33 
 
Chaînes de  
Markov 0.60 0.40 0.00
Introduction
Relation de
Chapman-Kolmogorov
I Objectif
Illustrations
Illustration 1
des états
Passage par un état fixe | X0 = c)
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Djamal
 
M&R
 0.50 0.25 0.25 
P =  0.67 0.00 0.33 
 
Chaînes de  
Markov 0.60 0.40 0.00
Introduction
Relation de
Chapman-Kolmogorov
I Objectif
Illustrations
Illustration 1
des états
Etude = pcb pbc pca pac pca pac pcb
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Djamal
 
M&R
 0.50 0.25 0.25 
P =  0.67 0.00 0.33 
 
Chaînes de  
Markov 0.60 0.40 0.00
Introduction
Relation de
Chapman-Kolmogorov
I Objectif
Illustrations
Illustration 1
des états
asymptotique
= 0.40 × 0.33 × 0.60 × 0.25 × 0.60 × 0.25 × 0.40
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Djamal
 
M&R
 0.50 0.25 0.25 
P =  0.67 0.00 0.33 
 
Chaînes de  
Markov 0.60 0.40 0.00
Introduction
Relation de
Chapman-Kolmogorov
I Objectif
Illustrations
Illustration 1
des états
asymptotique
= 0.40 × 0.33 × 0.60 × 0.25 × 0.60 × 0.25 × 0.40
Résultats
dŠalgèbre = 0.0012
linéaire pour les
chaînes de
Processus de Bernoulli
Pr. Chaabane
Djamal
E xemple 2
Nous considérons une succession de tirages de Bernoulli, θ est la
probabilité de succès, Nn est le nombre de succès en n expériences
M&R
Bernoulli indépendantes. On a
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
E xemple 2
M&R
Chaînes de P (Nn+m − Nn = k | N0 , · · · , Nn )
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
E xemple 2
M&R
Markov
Introduction
Relation de
Chapman-Kolmogorov
= P (Nn+m − Nn = k) = Cm θ (1 − θ)(m−k)
k k
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
E xemple 2
M&R
Markov
Introduction
Relation de
Chapman-Kolmogorov
= P (Nn+m − Nn = k) = Cm θ (1 − θ)(m−k)
k k
Illustrations
Illustration 1
Classification
des états Donc, {Nn | n ∈ N} est une chaîne de Markov homogène.
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
E xemple 2
M&R
Markov
Introduction
Relation de
Chapman-Kolmogorov
= P (Nn+m − Nn = k) = Cm θ (1 − θ)(m−k)
k k
Illustrations
Illustration 1
Classification
des états Donc, {Nn | n ∈ N} est une chaîne de Markov homogène.
La distribution initiale : π = (π0 , π1 · · · ) avec
Etude
asymptotique
Résultats π0 = P (N0 = 0) = 1 et πj = 0 ∀j ≥ 1
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
E xemple 2 (suite)
M&R
L’ensemble des états est E = {0, 1, 2, · · · } Les probabilités de tran-
sition sont données par :
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
E xemple 2 (suite)
M&R
L’ensemble des états est E = {0, 1, 2, · · · } Les probabilités de tran-
sition sont données par :
Chaînes de
Markov
Introduction
θ si j = i + 1

Relation de


pij = P (Nn+1 = j | Nn = i) =  θ j=i
Chapman-Kolmogorov

1 − si

Illustrations 

 0
Illustration 1 ailleurs
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
E xemple 2 (suite)
La matrice des probabilités de transition
M&R
 1 − θ θ
 
Chaînes de
Markov
··· ··· 
Introduction
 0 1−θ θ ··· 
 .
 
.. .. ..
P =  . . . . .
Relation de

Chapman-Kolmogorov 
Illustrations  
 
..
Illustration 1 
.

Classification
des états
0
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Marche aléatoire
Pr. Chaabane
Djamal
I Supposons qu’une particule se déplace entre les positions sur
une ligne d’une position à la fois.
M&R
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Marche aléatoire
Pr. Chaabane
Djamal
I Les positions sur la ligne sont marquées par des nombres
M&R
entiers consécutifs.
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Marche aléatoire
Pr. Chaabane
Djamal
M&R
I À chaque époque, la particule se déplace d’une position vers
Chaînes de
Markov la droite avec la probabilité p, ou une position vers la gauche
Introduction
Matrices Stochastiques avec la probabilité 1 − p.
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Marche aléatoire
Pr. Chaabane
Djamal
M&R
Chaînes de
Introduction
Relation de
Chapman-Kolmogorov
I La particule continue à se déplacer, soit à droite ou à gauche,
Illustrations
Illustration 1
jusqu’à ce qu’elle atteigne l’une des deux positions extrêmes
Classification appelées barrières.
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Marche aléatoire
Pr. Chaabane
Djamal
M&R
Chaînes de
Introduction
Relation de
Chapman-Kolmogorov
I La particule continue à se déplacer, soit à droite ou à gauche,
Illustrations
Illustration 1
jusqu’à ce qu’elle atteigne l’une des deux positions extrêmes
Classification appelées barrières.
des états
Passage par un état fixe I Etant donné que le mouvement de la particule ne dépend que
Etude
asymptotique
de sa position actuelle, et non pas sur l’une de ses positions
Résultats
antérieures, le procédé peut être modélisé sous la forme
dŠalgèbre
linéaire pour les
d’une chaîne de Markov.
chaînes de
Marche aléatoire
Pr. Chaabane
Djamal
I Cette chaîne est appelée marche aléatoire, car il peut décrire

le mouvement instable d’un individu en état d’ébriété.
M&R
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Marche aléatoire
Pr. Chaabane
Djamal

M&R I Les états, représentés par des nombres entiers consécutifs,
sont les positions possibles de la particule sur la ligne.
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Marche aléatoire
Pr. Chaabane
Djamal

Chaînes de
Markov I Lorsque la particule est en position i, la marche aléatoire est
Introduction
dans l’état i. Par conséquent, l’état Xn = i désigne la position
Relation de
Chapman-Kolmogorov de la particule après n mouvments.
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Marche aléatoire
Pr. Chaabane
Djamal

Chaînes de
Markov I Lorsque la particule est en position i, la marche aléatoire est
Introduction
dans l’état i. Par conséquent, l’état Xn = i désigne la position
Relation de
Chapman-Kolmogorov de la particule après n mouvments.
Illustrations
Illustration 1
I Considérons une marche aléatoire de cinq états représentés
Classification
sur la figure ci-dessous avec l’espace état E = {0, 1, 2, 3, 4}.
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Marche aléatoire
Pr. Chaabane
Djamal
M&R
Pour un état i ∈ E avec 0 < i < 4, on a :

Chaînes de P(Xn+1 = i + 1 | Xn = i) = p
Markov
Introduction P(Xn+1 = i − 1 | Xn = i) = q = 1 − p.
Relation de
Chapman-Kolmogorov
P(Xn+1 = j | Xn = i) = 0 pour j , i + 1 et j , i − 1.
Illustrations Pour i = ou i = 4 états barrière
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
Barrière absorbante
Quand une particule atteint une barrière absorbante, il y reste.
M&R
Ainsi, une barrière absorbante est représentée par un état, qui est
appelé un état absorbant. La matrice de probabilité de transition
Chaînes de pour une marche aléatoire à cinq états avec deux barrières ab-
Markov
Introduction sorbantes, représentés par les Etats absorbant 0 et 4, est
Relation de  
Chapman-Kolmogorov
 1 0 0 0 0 
Illustrations
q 0 p 0 0
 
Illustration 1
 
Classification P =  0 q 0 p 0 

des états
0 0 q 0 p
 
Passage par un état fixe  
Etude 0 0 0 0 1
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
Barrières réfléchissantes
Quand une particule atteint une barrière réfléchissante, il entre dans
M&R
l’état adjacent sur la prochaine transition. La matrice de probabilité
de transition pour une chaîne de cinq état de marche aléatoire avec
Chaînes de
Markov deux barrières réfléchissantes, représenté par les états 0 et 4, est
Introduction
Matrices Stochastiques  
Relation de  0 1 0 0 0 
Chapman-Kolmogorov
 q 0 p 0 0 
 
Illustrations
Illustration 1 P =  0 q 0 p 0 
Classification
 0 0 q 0 p 
 
des états
Passage par un état fixe 0 0 0 1 0
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Plan
Pr. Chaabane
Djamal
Introduction
M&R
Chaînes de
Introduction
Illustration 1
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
j ∈ E un état fixe
M&R
I Soit j un état fixé dans une chaîne de Markov homogène
{Xn }n∈N d’espace des états E, de distribution initiale π0 et de
Chaînes de
Markov matrice de probabilités de transition P.
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
M&R
Chaînes de
Introduction
Matrices Stochastiques I On s’intéresse à la probabilité du premier passage par l’état j.
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
M&R
Chaînes de
Introduction
Relation de
Chapman-Kolmogorov
I On écrit,
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
M&R
Chaînes de
Introduction
Relation de
Chapman-Kolmogorov
I On écrit,
Illustrations
P XT1 = j|X0 = i =

Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
M&R
Chaînes de
Introduction
Relation de
Chapman-Kolmogorov
I On écrit,
Illustrations
P XT1 = j|X0 = i = P (T1 = k|X0 = i) = Pi (T1 = k) =

Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
M&R
Chaînes de
Introduction
Relation de
Chapman-Kolmogorov
I On écrit,
Illustrations
P XT1 = j|X0 = i = P (T1 = k|X0 = i) = Pi (T1 = k) =

Illustration 1
Classification ϑij (k) .

des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
• Soit j ∈ E, un état fixe.
M&R
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
• Pour k = 1 ;
M&R
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
• Pour k = 1 ;
M&R ϑij (1)
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
• Pour k = 1 ;
M&R ϑij (1) = Pi (T1 = 1) =
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
• Pour k = 1 ;
M&R ϑij (1) = Pi (T1 = 1) = Pi (X1 = j) =
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
• Pour k = 1 ;
M&R ϑij (1) = Pi (T1 = 1) = Pi (X1 = j) = P (X1 = j|X0 = i)
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
• Pour k = 1 ;
M&R ϑij (1) = Pi (T1 = 1) = Pi (X1 = j) = P (X1 = j|X0 = i) = pij
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
• Pour k = 1 ;
Chaînes de
Markov
Introduction • Pour k ≥ 2 ;
Relation de
ϑij (k) = P (X1 , j, X2 , j, · · · , Xk−1 , j, Xk = j|X0 = i)

Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
• Pour k = 1 ;
Chaînes de
Markov
Relation de

Chapman-Kolmogorov
Illustrations X
Illustration 1
= P (X1 = b, X2 , j, · · · , Xk−1 , j, Xk = j|X0 = i)
Classification
des états b∈E\{j}
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
• Pour k = 1 ;
Chaînes de
Markov
Relation de

Chapman-Kolmogorov
Illustrations X
Illustration 1
= P (X1 = b, X2 , j, · · · , Xk−1 , j, Xk = j|X0 = i)
Classification
des états b∈E\{j}
X
Etude
= P (X1 = b|X0 = i) ×
asymptotique b∈E\{j}
Résultats
dŠalgèbre
P (X2 , j, · · · , Xk−1 , j, Xk = j|X0 = i, X1 = b)
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
X
ϑij (k) = Pib × P (X2 , j, · · · , Xk−1 , j, Xk = j|X1 = b)
b∈E\{j}
M&R
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
X
b∈E\{j}
M&R X
= Pib × ϑbj (k − 1)
Chaînes de b∈E\{j}
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
X
b∈E\{j}
M&R X
= Pib × ϑbj (k − 1)
Chaînes de b∈E\{j}
Markov
Introduction
Matrices Stochastiques Donc,
Relation de
Chapman-Kolmogorov
Illustrations
si k = 1
Illustration 1 
Classification


 pij


des états
ϑij (k) = 

 X
Etude




 Pib × ϑbj (k − 1) si k ≥ 2
asymptotique  b∈E\{j}
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
M&R
E xemple
On considère une chaîne de Markov avec E = {0, 1, 2} et
Chaînes de  
Markov
Introduction
 1 0 0 
 1 1 1 
Relation de  
Chapman-Kolmogorov  2 6 3 
Illustrations
 1 3 1 
Illustration 1
3 5 15
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
M&R
Soit j un état fixé dans une chaîne de Markov {Xn }n∈N d’espace des
états E, de distribution initiale π0 et de matrice de transition P.
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
M&R
Soit j un état fixé dans une chaîne de Markov {Xn }n∈N d’espace des
états E, de distribution initiale π0 et de matrice de transition P.
Chaînes de
Markov
Proposition
Introduction
On a : X
vij = Pij +
Relation de
Chapman-Kolmogorov
Pib vbj (1)
Illustrations
Illustration 1 b∈E\{j}
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
Soit Nj (ω) le nombre de passage par un état fixé dans une chaîne
M&R
de Markov {Xn}n∈N pour toute réalisation ω ∈ Ω.
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
M&R
* Nj (ω) = m
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
M&R
* Nj (ω) = m
Chaînes de m
Markov
Introduction
Relation de
(T1 (ω) < ∞), (T2 (ω) < ∞), ..., (Tm (ω) < ∞) et (Tm+1 (ω) = ∞)
Chapman-Kolmogorov
Illustrations
Illustration 1
avec probabilité
Classification
des états P ((T1 (ω) < ∞), (T2 (ω) < ∞), ..., (Tm (ω) < ∞) et (Tm+1 (ω) = ∞))
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
* Les évènements
M&R
(T1 < ∞), (T2 − T1 < ∞), ..., (Tm − Tm−1 < ∞)
(Tm+1 − Tm = ∞)
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
* Les évènements
M&R
(T1 < ∞), (T2 − T1 < ∞), ..., (Tm − Tm−1 < ∞)
(Tm+1 − Tm = ∞)
Chaînes de
Markov
Introduction sont indépendants et de probabilités en commençant
Relation de
Chapman-Kolmogorov l’évolution de i
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
* Les évènements
M&R
(T1 < ∞), (T2 − T1 < ∞), ..., (Tm − Tm−1 < ∞)
(Tm+1 − Tm = ∞)
Chaînes de
Markov
Introduction sont indépendants et de probabilités en commençant
Relation de
Chapman-Kolmogorov l’évolution de i
Illustrations
vij , vjj , ..., vjj et (1 − vjj )

Illustration 1
Classification
des états
respectivement.
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
Proposition
M&R
Soit Nj le nombre de passage par l’état j. Alors
Pj (Nj = m) = vjjm−1 (1 − vjj ), m = 1, 2, ...;

Chaînes de
Markov (2)
Introduction
Relation de
Chapman-Kolmogorov
et pour i , j
Illustrations
m=0
(
1 − vij
Pi (Nj = m) =
Illustration 1
(3)
Classification vij vjjm−1 (1 − vjj ) m = 1, 2, ...
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal • Pour vjj < 1 on a :
M&R
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
∞
X ∞
X
Pj (Nj = m) = vjjm−1 (1 − vjj )
M&R
m=1 m=1
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
∞
X ∞
X
Pj (Nj = m) = vjjm−1 (1 − vjj )
M&R
m=1 m=1
∞
X
Chaînes de
= (1 − vjj ) vm−1
jj
Markov m=1
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
∞
X ∞
X
Pj (Nj = m) = vjjm−1 (1 − vjj )
M&R
m=1 m=1
∞
X
Chaînes de
= (1 − vjj ) vm−1
jj
Markov m=1
Introduction
1
= (1 − vjj ) =1
Relation de
Chapman-Kolmogorov 1 − vjj
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
∞
X ∞
X
Pj (Nj = m) = vjjm−1 (1 − vjj )
M&R
m=1 m=1
∞
X
Chaînes de
= (1 − vjj ) vm−1
jj
Markov m=1
Introduction
1
= (1 − vjj ) =1
Relation de
Illustrations
Illustration 1
Classification
des états
Passage par un état fixe • Pour vjj = 1 on a :
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
∞
X ∞
X
Pj (Nj = m) = vjjm−1 (1 − vjj )
M&R
m=1 m=1
∞
X
Chaînes de
= (1 − vjj ) vm−1
jj
Markov m=1
Introduction
1
= (1 − vjj ) =1
Relation de
Illustrations
Illustration 1
Classification
des états
Passage par un état fixe • Pour vjj = 1 on a :
Etude
asymptotique ∞
X ∞
X
Résultats Pj (Nj = m) = 1m−1 × 0 = 0
dŠalgèbre
linéaire pour les m=1 m=1
chaînes de
Pr. Chaabane
Djamal
Proposition
On a :
1 si vjj < 1
(
Pj (Nj < ∞) = (4)
M&R
0 si vjj = 1
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
Proposition
On a :
1 si vjj < 1
(
Pj (Nj < ∞) = (4)
M&R
0 si vjj = 1
Chaînes de
Markov • Si vjj = 1,
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
Proposition
On a :
1 si vjj < 1
(
Pj (Nj < ∞) = (4)
M&R
0 si vjj = 1
Chaînes de
Markov • Si vjj = 1, alors Nj = ∞ certainement
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
Proposition
On a :
1 si vjj < 1
(
Pj (Nj < ∞) = (4)
M&R
0 si vjj = 1
Chaînes de
Introduction
Matrices Stochastiques Pj (Nj = ∞) = 1 − Pj (Nj < ∞) = 1 − 0 = 1. Donc,
Relation de
Chapman-Kolmogorov
Ej (Nj ) = ∞
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
Proposition
On a :
1 si vjj < 1
(
Pj (Nj < ∞) = (4)
M&R
0 si vjj = 1
Chaînes de
Introduction
Relation de
Chapman-Kolmogorov
Ej (Nj ) = ∞
Illustrations  
Illustration 1
1
• Si vjj < 1, Nj ∼ Geom  Ej (Nj ) = p =
 
Classification
; probabilité de
des états 1 − vjj 
succès est p = 1 − vjj
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
Proposition
On a :
1 si vjj < 1
(
Pj (Nj < ∞) = (4)
M&R
0 si vjj = 1
Chaînes de
Introduction
Relation de
Chapman-Kolmogorov
Ej (Nj ) = ∞
Illustrations  
Illustration 1
1
• Si vjj < 1, Nj ∼ Geom  Ej (Nj ) = p =
 
Classification
; probabilité de
des états 1 − vjj 
succès est p = 1 − vjj
Etude
• La matrice potentielle est : R = (rij )i,j∈E

asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
M&R
Corollaire
Chaînes de On a :
Markov
1
Introduction
+ rjj =
Relation de
1 − vjj
+ rij = vij rjj
Chapman-Kolmogorov
si i , j
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
M&R
On a :
∞
X
Chaînes de
∀ω ∈ Ω : Nj (ω) = =j (Xn (ω))
Markov n=0
Introduction
Matrices Stochastiques avec
si Xn (ω) = j
(
Relation de
1
Chapman-Kolmogorov
=j (Xn (ω)) =
Illustrations 0 si Xn (ω) , j
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal On a :
∞
X
rij = Ei [ =j (Xn )]
M&R n=0
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal On a :
∞
X
M&R n=0
∞
X
Chaînes de
= Ei [=j (Xn )]
Markov n=0
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal On a :
∞
X
M&R n=0
∞
X
Chaînes de
= Ei [=j (Xn )]
Markov n=0
Introduction X∞ ∞
X
Relation de
= Pi (Xn = j) = P(Xn = j|X0 = i)
Chapman-Kolmogorov
n=0 n=0
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal On a :
∞
X
M&R n=0
∞
X
Chaînes de
= Ei [=j (Xn )]
Markov n=0
X
Relation de
= Pi (Xn = j) = P(Xn = j|X0 = i)
Chapman-Kolmogorov
n=0 n=0
Illustrations X∞
Illustration 1
= Pnij
Classification
des états n=0
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal On a :
∞
X
M&R n=0
∞
X
Chaînes de
= Ei [=j (Xn )]
Markov n=0
X
Relation de
= Pi (Xn = j) = P(Xn = j|X0 = i)
Chapman-Kolmogorov
n=0 n=0
Illustrations X∞
Illustration 1
= Pnij
Classification
des états n=0
Etude
asymptotique
Résultats
dŠalgèbre
R = I + P + P2 + ..
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
M&R On a :
Chaînes de RP = P + P2 + P3 + ... = R − I
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
M&R On a :
Markov
Introduction
PR = P + P2 + P3 + ... = R − I
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
M&R On a :
Markov
Introduction
PR = P + P2 + P3 + ... = R − I
Relation de
Chapman-Kolmogorov
Illustrations Donc
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
M&R On a :
Markov
Introduction
PR = P + P2 + P3 + ... = R − I
Relation de
Chapman-Kolmogorov
Illustrations Donc
Illustration 1
*
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
M&R On a :
Markov
Introduction
PR = P + P2 + P3 + ... = R − I
Relation de
Chapman-Kolmogorov
Illustrations Donc
Illustration 1
* R(I − P) = (I − P)R = I
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Rappels
Pr. Chaabane
Djamal
M&R
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification Figure: Passage par un état fixé dans E

des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Étant donnée une chaîne de Markov {Xn}n∈N d’espace des états E,
de distribution initiale π0 et de matrice de transition P. Soit T
l’instant du premier passage par un état fixé j, j ∈ E et Nj le
M&R nombre totale de passage par l’état j.
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Définition
Chaînes de
Markov * L’état j est dit récurrent (persistant) si
Introduction
Relation de
Chapman-Kolmogorov Pj {T < ∞} = 1
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Définition
Chaînes de
Introduction
Relation de
Illustrations
Illustration 1
Classification
des états * Sinon, si Pj {T = ∞} > 0 alors j est transitoire .
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Définition
Chaînes de
Introduction
Relation de
Illustrations
Illustration 1
Classification
Etude * Un état récurrent j est dit nul si Ej (T) = +∞.

asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Définition
Chaînes de
Introduction
Relation de
Illustrations
Illustration 1
Classification
Etude * Un état récurrent j est dit nul si Ej (T) = +∞.

asymptotique
Résultats * Sinon il est dit non nul .

dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Définition (suite)
M&R
* Un état récurrent j est dit périodique de période δ s’il
existe un entiers n; n ∈ N∗ avec δ ≥ 2 est le plus grand entier
Chaînes de
Markov tel que
Introduction
Pj {T = nδ pour n ≥ 1} = 1
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Définition (suite)
M&R
* Un état récurrent j est dit périodique de période δ s’il
existe un entiers n; n ∈ N∗ avec δ ≥ 2 est le plus grand entier
Chaînes de
Markov tel que
Introduction
Pj {T = nδ pour n ≥ 1} = 1
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1 * Sinon, s’il n’existe pas un tel n avec δ ≥ 2, j est dit
Classification
des états
apériodique .
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
• Si j récurrent
M&R
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
• Si j récurrent ⇒ vjj = 1
M&R
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
• Si j récurrent ⇒ vjj = 1⇒ rjj = +∞

M&R
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
• Si j récurrent ⇒ vjj = 1⇒ rjj = +∞ ⇒ {Nj = ∞} est presque

M&R certain
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal

M&R certain
• Si j est transitoire
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal

M&R certain
• Si j est transitoire ⇒ vjj < 1
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal

M&R certain
• Si j est transitoire ⇒ vjj < 1 ⇒ La probabilité de quitter sans
Chaînes de
Markov retour 1 − vjj > 0
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal

M&R certain
Chaînes de
Markov retour 1 − vjj > 0 ⇒ rjj < ∞
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal

M&R certain
Chaînes de
• rjj < ∞;
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal

M&R certain
Chaînes de
• rjj < ∞;donc
X rij = vij rjj < rjj < ∞
Introduction
pnij < ∞ ⇒ Pnij → 0.

Relation de
Chapman-Kolmogorov
∀i ∈ E;
Illustrations
n≥0
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal

M&R certain
Chaînes de
• rjj < ∞;donc
X rij = vij rjj < rjj < ∞
Introduction
pnij < ∞ ⇒ Pnij → 0.

Relation de
Chapman-Kolmogorov
∀i ∈ E;
Illustrations
n≥0
Illustration 1
Classification
• Si j est un état récurrent nul, donc Ej (T) = ∞ (durée
des états
moyenne entre deux retours vers j est infinie) → Pnij → 0.
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Théorème
) Si j est transitoire ou récurrent nul alors
lim Pnij = 0
M&R
(5)
n→∞
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Théorème
lim Pnij = 0
M&R
(5)
n→∞
Chaînes de
Markov
Introduction
Matrices Stochastiques ) Si j est un état récurrent apériodique, alors
Relation de
Chapman-Kolmogorov
Illustrations πj = lim Pnij > 0 (6)

Illustration 1 n→∞
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Théorème
lim Pnij = 0
M&R
(5)
n→∞
Chaînes de
Markov
Introduction
Matrices Stochastiques ) Si j est un état récurrent apériodique, alors
Relation de
Chapman-Kolmogorov
Illustrations πj = lim Pnij > 0 (6)

Illustration 1 n→∞
Classification
des états
Etude
) Pour tout i ∈ E
asymptotique lim Pnij = vij πj (7)
n→∞
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Définition (suite)
M&R
* accessible :l’état j est accessible depuis l’état i si il existe au
moins un chemin menant de i à j. Ce qui donne :
Chaînes de
Markov ∃n ∈ N|pnij > 0.
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Définition (suite)
M&R
* accessible :l’état j est accessible depuis l’état i si il existe au
moins un chemin menant de i à j. Ce qui donne :
Chaînes de
Markov ∃n ∈ N|pnij > 0.
Introduction
Matrices Stochastiques * communiquant :les états i et j communique si il existe au
Relation de
Chapman-Kolmogorov
moins de chemin menant de i à j et un chemin qui mène de j
Illustrations
Illustration 1
à i.
Classification ∃n ∈ N|pnij > 0 et ∃m ∈ N|pm
ji > 0
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal Proposition
i → j si et seulement si il existe n ∈ N tel que p(n)

i,j > 0.
M&R
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal Proposition

i,j > 0.
M&R
Proposition
Chaînes de Si i → j et j → k alors i → k.
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal Proposition

i,j > 0.
M&R
Proposition
Markov
Introduction
Relation de
Preuve
r Si i → j, alors ∃r ≥ 0 | prij > 0.
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal Proposition

i,j > 0.
M&R
Proposition
Markov
Introduction
Relation de
Preuve
Chapman-Kolmogorov
Illustrations
Illustration 1
r Si j → k, alors ∃s ≥ 0 | psjk > 0.
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal Proposition

i,j > 0.
M&R
Proposition
Markov
Introduction
Relation de
Preuve
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états r Pour n = r + s, on a :
X
pnik = priα psαk ≥ prij psjk > 0.
Etude
asymptotique
Résultats α∈E
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal Proposition

i,j > 0.
M&R
Proposition
Markov
Introduction
Relation de
Preuve
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états r Pour n = r + s, on a :
X
pnik = priα psαk ≥ prij psjk > 0.
Etude
asymptotique
Résultats α∈E
dŠalgèbre
linéaire pour les
chaînes de Donc i→k
C lassification
Pr. Chaabane
Djamal
Définition
Un ensemble d’états C est dit fermé si : ∀i ∈ C et si i → j alors
M&R
j ∈ C.
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Définition
M&R
j ∈ C.
Chaînes de Définition
Markov
Introduction • Un ensemble C fermé est irréductible si aucun
Relation de
Chapman-Kolmogorov
sous-ensemble de C n’est fermé.
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Définition
M&R
j ∈ C.
Markov
Relation de
Chapman-Kolmogorov
Illustrations • Une chaîne de Markov est irréductible si son ensemble des
Illustration 1
états est l’unique ensemble fermé.
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Définition
M&R
j ∈ C.
Markov
Relation de
Chapman-Kolmogorov
Illustrations • Une chaîne de Markov est irréductible si son ensemble des
Illustration 1
états est l’unique ensemble fermé.
Classification
des états
Etude
Définition
asymptotique
Un état i est dit absorbant si {i} est un ensemble fermée.
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
M&R
C ritère
Un état j est absorbant si et seulement si pjj = 1
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
M&R
C ritère
Un état j est absorbant si et seulement si pjj = 1
Chaînes de
Markov
Introduction
Proposition
Relation de
Soit C un sous-ensemble d’un ensemble des états E d’une chaîne
Chapman-Kolmogorov
de Markov. La sous-matrice Q correspondante à C est
Illustrations
Illustration 1 stochastique.
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
M&R G raphe associé

Soit une chaîne de Markov (E, P). Le graphe orienté G = (X, U)
Chaînes de
Markov
représsente la chaîne de Markov si:
Introduction
Matrices Stochastiques I X l’ensemble de sommets est en bijection avec l’ensemble
Relation de
Chapman-Kolmogorov des états E.
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
M&R G raphe associé

Soit une chaîne de Markov (E, P). Le graphe orienté G = (X, U)
Chaînes de
Markov
représsente la chaîne de Markov si:
Introduction
Matrices Stochastiques I X l’ensemble de sommets est en bijection avec l’ensemble
Relation de
Chapman-Kolmogorov des états E.
Illustrations
Illustration 1
I ∀a, b ∈ E, (a, b) ∈ U si pab > 0
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Exemple
Considérons la chaîne de Markov suivante :
M&R
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
* Cette chaîne est irréductible car tous les états
Etude
asymptotique communiquent. Bien que p13 = 0, p(n) 13
> 0 pour n ≥ 2.
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
M&R
Exemple
Chaînes de
La matrice de probabilités de transition associée
Markov
Introduction
1 0.5 0.5 0
Relation de
Chapman-Kolmogorov P = 2 0.5 0.25 0.25
Illustrations 3 0 0.33 0.67
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Exemple
Considérons la chaîne de Markov suivante :
M&R
a b c d e
Chaînes de
Markov
a 0.5 0 0.5 0 0
b 0 0.25 0 0.75 0
P=
Introduction
Relation de c 0 0 0.33 0 0.67
Chapman-Kolmogorov
Illustrations
d 0.25 0.50 0 0.25 0
Illustration 1 e 0.33 0 0.33 0 0.33
Classification
des états
Passage par un état fixe Les classes fermées : {a, c, e}, {a, b, c, d, e} et donc la chaîne n’est
Etude pas irréductible.
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Lemme
M&R
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Lemme
Si j est un état récurrent et j → k,
M&R
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Lemme
Si j est un état récurrent et j → k, alors k → j
M&R
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Lemme
Si j est un état récurrent et j → k, alors k → jet vkj = 1.
M&R
Chaînes de
Preuve
Markov
Introduction
r Soit j un état récurent, et j → k, k ∈ E sans retour à j.
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Lemme
M&R
Chaînes de
Preuve
Markov
Introduction
Relation de
r On pose α; α > 0 la probabilité correspondante.
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Lemme
M&R
Chaînes de
Preuve
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations r Une fois le processus est à k, la probabilité de ne pas

Illustration 1
retourner à j est 1 − vkj .
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Lemme
M&R
Chaînes de
Preuve
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations r Une fois le processus est à k, la probabilité de ne pas

Illustration 1
retourner à j est 1 − vkj .
Classification
des états r La probabilité de ne pas retourner à j à partir de j est la
probabilité d’être dans un état quelconque de E (k est l’un de
Etude
asymptotique ces états) et puis ne pas retourner à j à partir de cet état.
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Preuve (Suite)
M&R
r Donc, 1 − vjj =
S T
Chaînes de Prob{ i∈E être à l’état i ne pas retourner à j de i} d’où
Markov
Introduction
Matrices Stochastiques 1 − vjj ≥ α × (1 − vkj ) ≥ 0.
Relation de
Chapman-Kolmogorov
Illustrations α > 0 et j récurrent donc vjj = 1.

Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Preuve (Suite)
M&R
r Donc, 1 − vjj =
S T
Chaînes de Prob{ i∈E être à l’état i ne pas retourner à j de i} d’où
Markov
Introduction
Matrices Stochastiques 1 − vjj ≥ α × (1 − vkj ) ≥ 0.
Relation de
Chapman-Kolmogorov
Illustrations α > 0 et j récurrent donc vjj = 1.

Illustration 1
Classification r En conclusion,vkj = 1 et donc k → j.

des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
M&R
Chaînes de
Théorème
Markov
Introduction
A partir d’un état récurrent seulement les états récurrent peuvent
Relation de
être atteint
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
M&R
Chaînes de
Théorème
Markov
Introduction
A partir d’un état récurrent seulement les états récurrent peuvent
Relation de
être atteint
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Preuve
M&R
r On pose β = prjk × pskj ;
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Preuve
M&R
r Comme {Xs+n+r = k} ⊃ {Xs = j, Xs+n = j, Xs+n+r = k},
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Preuve
M&R
Chaînes de
Markov
Introduction
r on a :
s+n+r = P {X
Relation de
Chapman-Kolmogorov
Pkk k s+n+r = k}
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Preuve
M&R
Chaînes de
Markov
Introduction
r on a :
s+n+r = P {X
Relation de
Chapman-Kolmogorov
Pkk k s+n+r = k}
Illustrations ≥ Pk {Xs = j, Xs+n = j, Xs+n+r = k}
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Preuve
M&R
Chaînes de
Markov
Introduction
r on a :
s+n+r = P {X
Relation de
Chapman-Kolmogorov
Pkk k s+n+r = k}
Illustration 1
= Pskj Pnjj Prjk
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Preuve
M&R
Chaînes de
Markov
Introduction
r on a :
Relation de
s+n+r =
Pkk Pk {Xs+n+r = k}
Chapman-Kolmogorov

Illustration 1
= Pskj Pnjj Prjk
Classification
des états = βPnjj
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Preuve
r on a :
∞ ∞
P`kk P`kk
X X
M&R
rkk = ≥
`=0 `=r+s
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Preuve
r on a :
∞ ∞
P`kk P`kk
X X
M&R
rkk = ≥
`=0 `=r+s
∞
Chaînes de X
Markov = Pn+r+s
kk
Introduction
Matrices Stochastiques n=0
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Preuve
r on a :
∞ ∞
P`kk P`kk
X X
M&R
rkk = ≥
`=0 `=r+s
∞
Chaînes de X
Markov = Pn+r+s
kk
Introduction
Relation de ∞
X
≥ β Pnjj
Chapman-Kolmogorov
Illustrations
Illustration 1 n=0
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Preuve
r on a :
∞ ∞
P`kk P`kk
X X
M&R
rkk = ≥
`=0 `=r+s
∞
Chaînes de X
Markov = Pn+r+s
kk
Introduction
Relation de ∞
X
≥ β Pnjj
Chapman-Kolmogorov
Illustrations
Illustration 1 n=0
Classification = βrjj
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Preuve
r on a :
∞ ∞
P`kk P`kk
X X
M&R
rkk = ≥
`=0 `=r+s
∞
Chaînes de X
Markov = Pn+r+s
kk
Introduction
Relation de ∞
X
≥ β Pnjj
Chapman-Kolmogorov
Illustrations
Illustration 1 n=0
des états
Etude r j récurrent, alors rjj = ∞.

asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Preuve
r on a :
∞ ∞
P`kk P`kk
X X
M&R
rkk = ≥
`=0 `=r+s
∞
Chaînes de X
Markov = Pn+r+s
kk
Introduction
Relation de ∞
X
≥ β Pnjj
Chapman-Kolmogorov
Illustrations
Illustration 1 n=0
des états
Etude r j récurrent, alors rjj = ∞. Comme β > 0

asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Preuve
r on a :
∞ ∞
P`kk P`kk
X X
M&R
rkk = ≥
`=0 `=r+s
∞
Chaînes de X
Markov = Pn+r+s
kk
Introduction
Relation de ∞
X
≥ β Pnjj
Chapman-Kolmogorov
Illustrations
Illustration 1 n=0
des états
Etude r j récurrent, alors rjj = ∞. Comme β > 0 donc rkk = ∞

asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Preuve
r on a :
∞ ∞
P`kk P`kk
X X
M&R
rkk = ≥
`=0 `=r+s
∞
Chaînes de X
Markov = Pn+r+s
kk
Introduction
Relation de ∞
X
≥ β Pnjj
Chapman-Kolmogorov
Illustrations
Illustration 1 n=0
des états
Etude r j récurrent, alors rjj = ∞. Comme β > 0 donc rkk = ∞ ⇒ k

asymptotique
est récurrent.
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Exemple
La chaîne suivante possède une sous- chaîne de Markov
M&R irréductible {4, 5} :
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Lemme
Pour chaque état récurrent j il existe un ensemble fermé
irréductible qui contient j.
M&R
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Lemme
M&R
Preuve
Chaînes de
Markov
Introduction
r Soient j un état récurrent et C l’ensemble de tous les états
Matrices Stochastiques accessibles de j.
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Lemme
M&R
Preuve
Chaînes de
Markov
Introduction
Matrices Stochastiques accessibles de j. Manifestement, ceci forme un ensemble
Relation de
Chapman-Kolmogorov
fermé.
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Lemme
M&R
Preuve
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
fermé.On démontre que si i, k ∈ C alors i → k.
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Lemme
M&R
Preuve
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1 r Si i ∈ C, alors j → i.
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Lemme
M&R
Preuve
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1 r Si i ∈ C, alors j → i.Comme j est récurrent, d’après le lemme
Classification (1) ceci implique i → j.
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Lemme
M&R
Preuve
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Classification (1) ceci implique i → j. Donc Si k ∈ C un autre état, alors
des états
Passage par un état fixe j → k.
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Lemme
M&R
Preuve
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Classification (1) ceci implique i → j. Donc Si k ∈ C un autre état, alors
des états
Passage par un état fixe j → k.
Etude i→j∧j→k ⇒i→k
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
M&R
Théorème (IMPORTANT)
Chaînes de
Markov Dans une chaîne de Markov les états récurrents peuvent être
Introduction
divisé d’une manière unique, en ensembles fermés irréductibles
Relation de
Chapman-Kolmogorov C1 , C2 , ...
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Remarque
* En général une chaîne de Markov contient l’ensemble fermé
des états récurrents C = C1 ∪ C2 ∪ ... et l’ensemble des états
M&R
transitoires D.
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Remarque
* En général une chaîne de Markov contient l’ensemble fermé
des états récurrents C = C1 ∪ C2 ∪ ... et l’ensemble des états
M&R
transitoires D.
Chaînes de
* En vertu de la remarque ci-dessus, P peut être réécrite sous
Markov la forme :
Introduction
P1 0 0 · · · 0
Relation de
 
Chapman-Kolmogorov  
Illustrations

 0 P2 0 · · · 0 

Illustration 1  0 0 P3 · · · 0 
Classification
P = 
 
des états · · · · · · · 
 (8)
· · · · · · ·
 
Etude

· · · · · · ·
 
asymptotique 

Résultats Q1 Q2 Q3 · · · Q
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
M&R
Théorème
Chaînes de
Markov Soit X une chaîne de Markov irréductible. Ou bien tous les états
Introduction
sont transitoires,ou récurrents nuls ou tous sont récurrents non
Relation de
Chapman-Kolmogorov nuls .
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
M&R Corollaire
Soit C un ensemble irréductible fermé de cardinal finie. Alors
Chaînes de
Markov
aucun état n’est récurrent nul.
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
M&R Corollaire
Soit C un ensemble irréductible fermé de cardinal finie. Alors
Chaînes de
Markov
aucun état n’est récurrent nul.
Introduction
Relation de
Chapman-Kolmogorov
Corollaire
Illustrations Si C est un ensemble irréductible fermé de cardinal finie. Alors
Illustration 1
aucun état n’est transitoire.
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Exemple
Soit une chaîne de Markov avec espace d’états E = {1, 2, ..., 10} et
M&R
matrice des probabilités de transition
1 1
0 0 0 0 0 0 0 0
 
 2 2 
Chaînes de 1 2
Markov

 0 3 0 0 0 0 3 0 0 0 

Introduction  1 0 0 0 0 0 0 0 0 0 
Matrices Stochastiques  
Relation de  0 0 0 1 0 0 0 0 0 0 
Chapman-Kolmogorov
1 1 1
0 0 0 0 0 0 0
 
P =  3 3 3
Illustrations
 
Illustration 1  0 0 0 0 0 1 0 0 0 0 

1 3
0 0 0 0 0 0 0 0
 
Classification  4 4
des états 1 1 1 1 


 0 0 4 4 0 0 0 4 0 4 


Etude
 0 1 0 0 0 0 0 0 0 0 
 1 1 1
asymptotique 0 3 0 0 3 0 0 0 0 3
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
M&R
Exemple
Chaînes de
Markov
{Nn ; n ∈ N} le processus qui représente le nombre de succès
Introduction obtenu dans une succession de tirages de Bernoulli {0, 1, ..., n}
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
M&R
Exemple
Chaînes de
Markov
Toutes les transitions sont de la forme j → j + 1∀j ∈ E donc
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
M&R
Exemple
Chaînes de
Markov
Toutes les transitions sont de la forme j → j + 1∀j ∈ E donc tous
Relation de
Chapman-Kolmogorov
Illustrations
les états sont transitoires.
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Théorème
Soit X une chaîne de Markov iréductible dont E sont ensemble des
états et P; Considérons le système d’équations linéaires
M&R
X
ϑj = ϑi pij ∀j ∈ E. (9)
Chaînes de
Markov i∈E
Introduction
Relation de
Tous les états sont récurrents positifs si et seulement si il existe
Chapman-Kolmogorov
une solution ϑ vérifiant
Illustrations
Illustration 1
X
Classification
ϑj = 1 (10)
des états j∈E
Etude
asymptotique Si (9) et (10) admettent une solution ϑ, alors ϑj > 0, ∀j ∈ E et elle
Résultats est unique.
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Théorème
Soit X une chaîne de Markov irréductible dont E son ensemble
M&R
des états et P;
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Théorème
M&R
des états et P; soit Q la matrice obtenue de P en éliminant la ligne
et la colonne k pour un k de E.
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C lassification
Pr. Chaabane
Djamal
Théorème
M&R
des états et P; soit Q la matrice obtenue de P en éliminant la ligne
et la colonne k pour un k de E. Donc tous les états sont
Chaînes de
Markov récurrents si et seulement si l’unique solution du système
Introduction
d’équations linéaires
Relation de
Chapman-Kolmogorov
X
Illustrations
Illustration 1
hi = Qij hj 0 ≤ hj ≤ 1∀j ∈ E\{k}.
j∈E\{k}
Classification
des états
Etude est hi = 0 ∀i ∈ E\{k}.∀j ∈ E et elle est unique.

asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
A pplications
Pr. Chaabane
Djamal
Marche aléatoire
Considérons le processus stochastiqueMARCHE ALÉATOIRE
M&R
avec barrière . E = {0, 1, ..} et matrice de probabilité de transition
0 1 0 0 0 . . . 
 
Chaînes de

0 p 0 0 . . . 

Markov
 q
P = 

Introduction
Matrices Stochastiques 0 q 0 p 0 . . . 
 (11)
.. .. .. .. ..
Relation de
 
Chapman-Kolmogorov
. . . . .

Illustrations
Illustration 1
Classification Pour 0 < p < 1 et q=1-p.

des états
Si le système est à l’état i à un instant n,
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
A pplications
Pr. Chaabane
Djamal
Marche aléatoire
Considérons le processus stochastiqueMARCHE ALÉATOIRE
M&R
avec barrière . E = {0, 1, ..} et matrice de probabilité de transition
0 1 0 0 0 . . . 
 
Chaînes de

0 p 0 0 . . . 

Markov
 q
P = 

Introduction
Matrices Stochastiques 0 q 0 p 0 . . . 
 (11)
.. .. .. .. ..
Relation de
 
Chapman-Kolmogorov
. . . . .

Illustrations
Illustration 1
Classification Pour 0 < p < 1 et q=1-p.

des états
Si le système est à l’état i à un instant n, il passera à l’état i + 1 à
Etude l’instant n + 1 ou à l’état i − 1 sauf pour i = 0, le système passera
asymptotique
sûrement à l’état 1.
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
M&R
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
A pplications
Pr. Chaabane
Djamal
M&R
Marche aléatoire
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
A pplications
Pr. Chaabane
Djamal
M&R
Marche aléatoire
Tous les états sont communicants ⇒ la chaîne est irréductible
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
A pplications
Pr. Chaabane
Djamal
M&R
Marche aléatoire
Chaînes de
Markov
L’état {0} est périodique et de période égale à δ = 2 et comme
Introduction la chaîne est irréductible ⇒ donc tous les états ont la même
Relation de période.
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
A pplications
Pr. Chaabane
Djamal
M&R
Marche aléatoire
Chaînes de
Markov
L’état {0} est périodique et de période égale à δ = 2 et comme
Introduction la chaîne est irréductible ⇒ donc tous les états ont la même
Relation de période.
Chapman-Kolmogorov
Illustrations Tous les états sont transitoires, récurrents positifs ou

Illustration 1
récurrents nuls.
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
A pplications
Pr. Chaabane
Djamal
Le système
* Résolvons le système des équations linéaires suivant
M&R
ϑ0 = qϑ1
ϑ1 = ϑ0 + qϑ2
(12)
Chaînes de
Markov ϑ2 = pϑ1 + qϑ3
Introduction
... ... ...
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
A pplications
Pr. Chaabane
Djamal
Le système
* Résolvons le système des équations linéaires suivant
M&R
ϑ0 = qϑ1
ϑ1 = ϑ0 + qϑ2
(12)
Chaînes de
Markov ϑ2 = pϑ1 + qϑ3
Introduction
... ... ...
Relation de
Chapman-Kolmogorov
La solution
Illustrations
Illustration 1 * On obtient
Classification !j−1
des états
1 p
ϑj = ϑ0 ; j = 1, 2, . . .
Etude q q (13)
asymptotique
ϑ0 ≥ 0
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal Si p < q
* On obtient
 !j−1 
∞ ∞
X  1 X p  ϑ0 = 2q ϑ0 ;
ϑj = 1 +

M&R
(14)
j=0
q j=1 q  q−p
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal Si p < q
* On obtient
 !j−1 
∞ ∞
X  1 X p  ϑ0 = 2q ϑ0 ;
ϑj = 1 +

M&R
(14)
j=0
q j=1 q  q−p
Chaînes de
Markov
Introduction
En choisissant
Matrices Stochastiques * !
Relation de
q−p 1 p
ϑ0 = =
Chapman-Kolmogorov
1− (15)
Illustrations 2q 2 q
Illustration 1
Classification Si p < q
des états
* On obtient
∞
Etude X
asymptotique ϑj = 1 (16)
Résultats 1
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
M&R Si p < q
* !
1 p

Chaînes de
si j = 0

Markov


 1−
 2
 q
ϑj = 
Introduction

Matrices Stochastiques ! !j−1 (17)
Relation de

 1 p p
1 − si j ≥ 1
Chapman-Kolmogorov



2q q q

Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal Si p ≥ q
* Tous les états sont récurrents nuls ou transitoires.
Considérons
 0 p 0 0 0 . . . 
M&R
 
 q 0 p 0 0 . . . 
Q =  0 q 0 p 0 . . . 
Chaînes de  
Markov
 .. . . . . . . . .
Introduction  
. . . . .
Matrices Stochastiques 
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal Si p ≥ q
Considérons
 0 p 0 0 0 . . . 
M&R
 
 q 0 p 0 0 . . . 
Q =  0 q 0 p 0 . . . 
Chaînes de  
Markov
 .. . . . . . . . .
. . . . .
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
* Résoudre le système d’équations linéaires suivant :
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal Si p ≥ q
Considérons
 0 p 0 0 0 . . . 
M&R
 
 q 0 p 0 0 . . . 
Q =  0 q 0 p 0 . . . 
Chaînes de  
Markov
 .. . . . . . . . .
. . . . .
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
* Résoudre le système d’équations linéaires suivant :
des états
h=Q×h
Etude
asymptotique
Résultats où h = (h1 , h2 , ...)t

dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
Si p ≥ q
* Ce qui donne
hi = qhi−1 + phi+1
(
M&R
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
Si p ≥ q
* Ce qui donne
(
M&R
(18)
hi = qhi + phi
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
Si p ≥ q
* Ce qui donne
(
M&R
(18)
hi = qhi + phi
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
⇓
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
Si p ≥ q
* Ce qui donne
(
M&R
(18)
hi = qhi + phi
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
⇓
Illustration 1
Classification Si p ≥ q
des états
Passage par un état fixe * Ce qui donne
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
Si p ≥ q
* Ce qui donne
(
M&R
(18)
hi = qhi + phi
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
⇓
Illustration 1
Classification Si p ≥ q
des états
Passage par un état fixe * Ce qui donne
Etude
asymptotique
p (hi+1 − hi ) = q (hi − hi−1 ) i = 1, 2, ...; (19)
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
Si p ≥ q
M&R
* On trouve
 q
Chaînes de 
 (hi+1 − hi ) = (hi − hi−1 )
p
Markov



Introduction






Relation de

Chapman-Kolmogorov 




Illustrations 

Illustration 1





Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
Si p ≥ q
M&R
* On trouve
 q
Chaînes de 
 (hi+1 − hi ) = (hi − hi−1 )
p !
Markov




Introduction

 i−1

 ... q
=

(h2 − h1 )

Relation de


 p
Illustrations



Illustration 1





Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
Si p ≥ q
M&R
* On trouve
 q
Chaînes de 
 (hi+1 − hi ) = (hi − hi−1 )
p !
Markov




Introduction

 i−1

 ... q
=

(h2 − h1 )

Relation de

 p
Illustrations

 !i

 q
= h1 i = 1, 2, ...
Illustration 1




Classification
 p
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
Si p ≥ q
* Donc
M&R
∀i ≥ 1 hi+1 = (hi+1 − hi ) + (hi − hi−1 )
+ . . . + (h2 − h1 ) + h1
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
Si p ≥ q
* Donc
M&R
∀i ≥ 1 hi+1 = (hi+1 − hi ) + (hi − hi−1 )
+ . . . + (h2 − h1 ) + h1
 !i 
Chaînes de q q 
= 1 + + ... +  h1 .

Markov
Introduction p p
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
Si p ≥ q
* Donc
M&R
∀i ≥ 1 hi+1 = (hi+1 − hi ) + (hi − hi−1 )
+ . . . + (h2 − h1 ) + h1
 !i 
Chaînes de q q 
= 1 + + ... +  h1 .

Markov
Introduction p p
Relation de
Chapman-Kolmogorov
Illustrations * La solution du système h = Qh est de la forme

Illustration 1
Classification
 !i−1 
q q
hi = c 1 + + ... +  i = 1, 2, ...
des états
 
(20)
p p
Etude
asymptotique
Résultats
c est une constante
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
Si p = q
* Dans ce cas l’équation (20) montre que la solution est
M&R hi = ic ∀i ≥ 1 avec 0 ≤ hi ≤ 1 ∀i ≥ 1 ⇒ c = 0
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
Si p = q
Chaînes de
Markov
Introduction
Relation de
⇓
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
Si p = q
Chaînes de
Markov
Introduction
Relation de
⇓
Chapman-Kolmogorov
Illustrations Si p = q
Illustration 1
Classification * Donc l’unique solution du système h = Qh est h = 0, d’où

des états
tous les états sont récurrents (ils ne sont pas positifs, donc
Etude nuls).
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
Si p > q
!
M&R
q
* En choisissant c = 1 − on obtient
p
Chaînes de
Markov !i
Introduction q
hi = 1 − , i = 1, 2, ...
Relation de
Chapman-Kolmogorov
p
Illustrations
Illustration 1 vérifiant 0 ≤ hi ≤ 1, ∀i.
Classification
des états * Dans ce cas tous les états sont tansitoires.
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C alcul de la matrice Potentielle R
Pr. Chaabane
Djamal
Considérons une chaîne de Markov, E espace des états et P la

M&R matrice de probabilités de transition. Soit j un état de E.
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal

* Si j est un état récurrent, donc ϑjj = 1 ⇒ rjj = ∞.
Chaînes de
Markov • Si j est accessible à partir de i; i ∈ E alors ϑij > 0 donc
Introduction rij = ∞.
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal

Chaînes de
• Si j n’est pas accessible à partir de i alors ϑij = 0 donc
Relation de
rij = 0; (0 × ∞ = 0)
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal

Chaînes de
Relation de
rij = 0; (0 × ∞ = 0)
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification * Donc j est un état récurrent

des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal

Chaînes de
Relation de
rij = 0; (0 × ∞ = 0)
Chapman-Kolmogorov
Illustrations
0 siϑij = 0
(
Illustration 1
* Donc j est un état récurrent ⇒ rij =

Classification
des états ∞ siϑij > 0
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
* Si j est un état transitoire et i un état récurrent alors

ϑij = 0 ⇒ rij = 0
M&R
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal

ϑij = 0 ⇒ rij = 0
M&R
* Si i, j ∈ D ⊂ E sont des états transitoires, on considère Q la
sous-matrice correspondante de P et S la sous-matrice
correspondante de R.
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal

ϑij = 0 ⇒ rij = 0
M&R
Chaînes de
Markov
Introduction !
K O
Relation de
Chapman-Kolmogorov
Ecrivons P =
L Q
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal

ϑij = 0 ⇒ rij = 0
M&R
Chaînes de
Markov
Introduction
Kn O
! !
K O
Relation de
Ecrivons P = ⇒P =n
Chapman-Kolmogorov
L Q Ln Qn
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal

ϑij = 0 ⇒ rij = 0
M&R
Chaînes de
Markov
Introduction
Kn O
! !
K O
Relation de
Ecrivons P = ⇒P =n
Chapman-Kolmogorov
L QX Ln Qn
Illustrations
Km
 
Illustration 1  O 
X  m≥0 
d’où R = P =  X
m
Classification X
des états m

m≥0
 L m Q 
Etude m≥0 m≥0
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
X
Donc S = Qm = I + Q + Q2 + ... = S − I
M&R
m≥0
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
X
Donc S = Qm = I + Q + Q2 + ... = S − I
M&R
m≥0
Chaînes de
Markov
(I − Q) S = I
Introduction
(
(21)
Relation de
Chapman-Kolmogorov
S (I − Q) = I
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
M&R
Proposition
Chaînes de
Si card(D) < ∞ alors S = (I − Q)−1 . Par contre, si card(D) = ∞

Markov
Introduction
Relation de
alors S est la solution minimale du systeme (21).
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
La matrice R
Pr. Chaabane
Djamal
Exemple
Soit une chaîne de Markov avec espace d’états E = {1, 2, ..., 8} et
M&R
matrice des probabilités de transition

Chaînes de 
0.5 0.3 0.2 0 0 0 0 0 

Markov 
0 0.3 0.7 0 0 0 0 0 
 
Introduction
 
Relation de

 0.6 0.4 0 0 0 0 0 0 
Chapman-Kolmogorov
0 0 0 0 1 0 0 0 
P = 

Illustrations
0 0 0 0.5 0.5 0 0 0 

Illustration 1

0 0 0 0 0 0.1 0.9 0 
 
Classification  
des états  0.2 0.5 0 0 0 0 0 0.3 
0.2 0 0.2 0 0 0.6 0 0
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
La matrice R
M&R
* Les classes finales : C1 = {1, 2, 3}; C2 {4, 5}, l’ensemble
D = {6, 7, 8}.  
Chaînes de
 0.1 0.9 0 
Q =  0 0 0.3 
Markov
 
Introduction  
Matrices Stochastiques 0.6 0 0
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
La matrice R
M&R
* Les classes finales : C1 = {1, 2, 3}; C2 {4, 5}, l’ensemble
D = {6, 7, 8}.  
Chaînes de
 0.1 0.9 0 
Q =  0 0 0.3 
Markov
 
Introduction  
Matrices Stochastiques 0.6 0 0
Relation de
Chapman-Kolmogorov
 
Illustrations  1.355 1.219 0.366 
* S = (I − Q)−1 =  0.244 1.219 0.366 
Illustration 1  
Classification  
des états 0.813 0.732 1.219
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
La matrice R
* La matrice potentielle R :
M&R
 
Chaînes de
 ∞ ∞ ∞ 0 0 0 0 0 
∞ ∞ ∞ 0 0 0 0 0
Markov
 
Introduction
 

 ∞ ∞ ∞ 0 0 0 0 0 

Relation de
Chapman-Kolmogorov 0 0 0 ∞ ∞ 0 0 0
R = 
 

Illustrations
Illustration 1
 0 0 0 ∞ ∞ 0 0 0 

Classification

 ∞ ∞ ∞ 0 0 1.355 1.219 0.366 
des états ∞ ∞ ∞ 0 0 0.244 1.219 0.366
 
Passage par un état fixe  
Etude
∞ ∞ ∞ 0 0 0.813 0.732 1.219
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
C alcul de la matrice Potentielle V
Pr. Chaabane
Djamal

matrice de probabilités de transition. Soit V = (ϑij )i,j∈E
M&R
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal

M&R
* Si i, j deux états récurrents d’une même classe, alors ϑij = 1

Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal

M&R

Chaînes de * Si i, j des états récurrents dans deux classes différentes alors
ϑij = 0.
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal

M&R

ϑij = 0.
Markov
Introduction
* Si i est récurrent et j transitoire, alors ϑij = 0.

Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal

M&R

ϑij = 0.
Markov
Introduction

Relation de
Chapman-Kolmogorov
Illustrations * Si i, j deux états transitoires, alors

Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal

M&R

ϑij = 0.
Markov
Introduction

Relation de
Chapman-Kolmogorov

Illustration 1
1 rij
Classification rij < ∞; ϑjj = 1 − ; ϑij =
des états rjj rjj
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal

M&R

ϑij = 0.
Markov
Introduction

Relation de
Chapman-Kolmogorov

Illustration 1
1 rij
Classification rij < ∞; ϑjj = 1 − ; ϑij =
des états rjj rjj
* i transitoire et j est récurrent on a :
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
Lemme
Soit C une classe finale irréductible, alors
M&R
ϑij = ϑik ∀j, k ∈ C(j , k)
Chaînes de ϑij ou ϑik est la probabilité d’accès à la classe C.

Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
Lemme
Soit C une classe finale irréductible, alors
M&R
ϑij = ϑik ∀j, k ∈ C(j , k)
Chaînes de ϑij ou ϑik est la probabilité d’accès à la classe C.

Markov
Introduction
Matrices Stochastiques La matrice V
Relation de
Chapman-Kolmogorov
On forme la mtrice
Illustrations
. . . 0 0 
Illustration 1  
 1 0
Classification
0 1 . . . 0 0 
des états
 

P̂ =  ... ... . . . . . . . . . 
Passage par un état fixe 
Etude
0 0 . . . 1 0 
asymptotique
 

b1 b2 . . . bn Q
Résultats

dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
X
* Les éléments des vecteurs bj ; j ∈ Cj sont bj (i) = pik
k∈Cj
M&R
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
X
k∈Cj
M&R
* On écrit P comme :
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
X
k∈Cj
M&R !
I 0
* On écrit P comme : P̂ =
Chaînes de
B Q
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
X
k∈Cj
M&R !
I 0
Chaînes de
B Q
Markov !
I 0
* d’où = P̂n
Introduction
(I + Q + ... + Qn−1 )B Qn
Relation de
Chapman-Kolmogorov
Bn (i, j) est la probabilité d’accèder la classe Cj à partir l’état i
Illustrations
Illustration 1 en n étapes.
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
X
k∈Cj
M&R !
I 0
Chaînes de
B Q
Markov !
I 0
* d’où = P̂n
Introduction
(I + Q + ... + Qn−1 )B Qn
Relation de
Chapman-Kolmogorov
Bn (i, j) est la probabilité d’accèder la classe Cj à partir l’état i
Illustrations
Illustration 1 en n étapes.
Classification
 
X 
* G = limn→∞ Bn =  Q  B = S × B
des états  n
Etude k≥0
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
M&R
Proposition
Chaînes de
Soit Q une matrice obtenue à partir de P en éliminant les entrées
Markov
Introduction
relatives aux états récurrents. On a G = S × B et pour tout état
Matrices Stochastiques transitoire i et toute classe récurrente Cj on a ;
Relation de
Chapman-Kolmogorov
Illustrations Gij = ϑik ∀k ∈ Cj

Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
M&R * S’il y a seulement une seule classe finale et un nombre fini

d’états transitoires.
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
M&R * S’il y a seulement une seule classe finale et un nombre fini

d’états transitoires.
Chaînes de
Markov
Comme P1 = 1 ⇒ B + Q1 = 1 ⇒ B = 1 − Q1
Introduction Bn = I + Q + ... + Qn−1 (1 − Q1) = 1 − Qn 1
G = lim (1 − Qn 1) = 1
Relation de
Chapman-Kolmogorov
Xn→∞
Illustrations car Qn est convegente ⇒ Qn → 0 qd n → ∞.
Illustration 1
n≥0
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
* 1 est toujours valeur propre d’une matrice stochatique.

M&R
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal

M&R P1 = 1
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal

M&R P1 = 1
Chaînes de * Soit P une matrice carrée stochastique, elle est dite ergodique
Markov
Introduction si existe lim Pn existe.
Matrices Stochastiques n→∞
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal

M&R P1 = 1
Chaînes de * Soit P une matrice carrée stochastique, elle est dite ergodique
Markov
Introduction si existe lim Pn existe.
Matrices Stochastiques n→∞
Relation de
Chapman-Kolmogorov
* Si 1 est valeur propre simple de P, et si toutes les valeurs
Illustrations
Illustration 1
propres de P autres que 1 sont de module strictement
Classification inférieur à 1 , alors la suite de matrice (Pn )n∈N converge vers
des états
une matrice stochastique. De plus, toutes les lignes de la
Etude matrice sont identiques.
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
M&R
* Si 1 est valeur propre multiple de P, et que toutes les autres

Chaînes de
valeurs propres sont de module strictement inférieur à 1, la
Markov
Introduction
suite (Pn )n∈N converge vers une matrice stochastique.
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
M&R
* Si 1 est valeur propre multiple de P, et que toutes les autres

Chaînes de
valeurs propres sont de module strictement inférieur à 1, la
Markov
Introduction
suite (Pn )n∈N converge vers une matrice stochastique.
Relation de
Chapman-Kolmogorov * Si P a au moins une valeur propre autre que 1 dont le module
Illustrations est égal à 1, alors la suite (Pn )n∈N ne converge pas.
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
Pr. Chaabane
Djamal
La matrice stochastique
M&R
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov a pour Pn ; n ≥ 15
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de
G raphe
Pr. Chaabane
Djamal
M&R
Chaînes de
Markov
Introduction
Relation de
Chapman-Kolmogorov
Illustrations
Illustration 1
Classification
des états
Etude
asymptotique
Résultats
dŠalgèbre
linéaire pour les
chaînes de

Chaine de Markov

Transféré par

Droits d'auteur :

Formats disponibles

Chaine de Markov

Transféré par

Informations du document

Description originale:

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Chaine de Markov

Transféré par

Droits d'auteur :

Formats disponibles

Pr.

Pr. Chaabane N otation

P (Xn+1 = j | Xn = i) = Pi,j ∀i, j ∈ E

Ces probabilités constituent une matrice dite

Pr. Chaabane N otation

P (Xn+1 = j | Xn = i) = Pi,j ∀i, j ∈ E

Ces probabilités constituent une matrice dite

I Soit X une chaîne de Markov, de matrice de probabilités de

I Soit X une chaîne de Markov, de matrice de probabilités de

Chaînes de I Soient i, j, k trois états fixés dans E. On a :

I Soit X une chaîne de Markov, de matrice de probabilités de

Chaînes de I Soient i, j, k trois états fixés dans E. On a :

I Soit X une chaîne de Markov, de matrice de probabilités de

Chaînes de I Soient i, j, k trois états fixés dans E. On a :

I Soit X une chaîne de Markov, de matrice de probabilités de

Chaînes de I Soient i, j, k trois états fixés dans E. On a :

I Soit X une chaîne de Markov, de matrice de probabilités de

Chaînes de I Soient i, j, k trois états fixés dans E. On a :

P (Xn+1 = i1 , · · · , Xn+m = im | Xn = i0 ) = Pi0 ,i1 × · · · × Pim−1 ,im

P (Xn+1 = i1 , · · · , Xn+m = im | Xn = i0 ) = Pi0 ,i1 × · · · × Pim−1 ,im

P (Xn+1 = i1 , · · · , Xn+m = im | Xn = i0 ) = Pi0 ,i1 × · · · × Pim−1 ,im

P (Xn+1 = i1 , · · · , Xn+m = im | Xn = i0 ) = Pi0 ,i1 × · · · × Pim−1 ,im

P (X0 = i0 , · · · , Xm = im ) = πi0 Pi0 ,i1 × · · · × Pim−1 ,im

I Cette chaîne est appelée marche aléatoire, car il peut décrire

I Cette chaîne est appelée marche aléatoire, car il peut décrire

I Cette chaîne est appelée marche aléatoire, car il peut décrire

I Cette chaîne est appelée marche aléatoire, car il peut décrire

Pour un état i ∈ E avec 0 < i < 4, on a :

Classification ϑij (k) .

M&R ϑij (1)

M&R ϑij (1) = Pi (T1 = 1) =

M&R ϑij (1) = Pi (T1 = 1) = Pi (X1 = j) =

M&R ϑij (1) = Pi (T1 = 1) = Pi (X1 = j) = P (X1 = j|X0 = i)

M&R ϑij (1) = Pi (T1 = 1) = Pi (X1 = j) = P (X1 = j|X0 = i) = pij

M&R ϑij (1) = Pi (T1 = 1) = Pi (X1 = j) = P (X1 = j|X0 = i) = pij

ϑij (k) = P (X1 , j, X2 , j, · · · , Xk−1 , j, Xk = j|X0 = i)

M&R ϑij (1) = Pi (T1 = 1) = Pi (X1 = j) = P (X1 = j|X0 = i) = pij

ϑij (k) = P (X1 , j, X2 , j, · · · , Xk−1 , j, Xk = j|X0 = i)

M&R ϑij (1) = Pi (T1 = 1) = Pi (X1 = j) = P (X1 = j|X0 = i) = pij

ϑij (k) = P (X1 , j, X2 , j, · · · , Xk−1 , j, Xk = j|X0 = i)

vij , vjj , ..., vjj et (1 − vjj )

Soit Nj le nombre de passage par l’état j. Alors

Pj (Nj = m) = vjjm−1 (1 − vjj ), m = 1, 2, ...;

• La matrice potentielle est : R = (rij )i,j∈E

Classification Figure: Passage par un état fixé dans E

Etude * Un état récurrent j est dit nul si Ej (T) = +∞.

Etude * Un état récurrent j est dit nul si Ej (T) = +∞.

Résultats * Sinon il est dit non nul .

• Si j récurrent ⇒ vjj = 1⇒ rjj = +∞

• Si j récurrent ⇒ vjj = 1⇒ rjj = +∞ ⇒ {Nj = ∞} est presque

• Si j récurrent ⇒ vjj = 1⇒ rjj = +∞ ⇒ {Nj = ∞} est presque

• Si j récurrent ⇒ vjj = 1⇒ rjj = +∞ ⇒ {Nj = ∞} est presque

• Si j récurrent ⇒ vjj = 1⇒ rjj = +∞ ⇒ {Nj = ∞} est presque

• Si j récurrent ⇒ vjj = 1⇒ rjj = +∞ ⇒ {Nj = ∞} est presque

• Si j récurrent ⇒ vjj = 1⇒ rjj = +∞ ⇒ {Nj = ∞} est presque

• Si j récurrent ⇒ vjj = 1⇒ rjj = +∞ ⇒ {Nj = ∞} est presque

pnij < ∞ ⇒ Pnij → 0.

• Si j récurrent ⇒ vjj = 1⇒ rjj = +∞ ⇒ {Nj = ∞} est presque