Markov2016 PDF

Chaînes de Markov (et applications)
Raphael Lachieze-Rey∗
26 janvier 2017
M1 Paris Descartes.
Table des matières

0.1 Espérances et probas conditionnelles . . . . . . . . . . . . . . . . 3
0.2 Familles sommables et théorème de Fubini . . . . . . . . . . . . . 3
1 Chaînes de Markov homogènes 4

1.1 Exemples et définitions . . . . . . . . . . . . . . . . . . . . . . . 4
1.2 Loi des Xn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2 Temps d’absorption 13
2.1 Temps d’arrêt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.2 Probabilités et temps d’absorptions . . . . . . . . . . . . . . . . . 16
3 Classification des états 20

3.1 Récurrence et transience . . . . . . . . . . . . . . . . . . . . . . . 22
4 Distributions invariantes 27
4.1 Convergence à l’équilibre . . . . . . . . . . . . . . . . . . . . . . . 37
4.2 Théorème ergodique . . . . . . . . . . . . . . . . . . . . . . . . . 41
4.3 Arithmétique et chaîne de Markov . . . . . . . . . . . . . . . . . 45
4.4 Marche aléatoire sur un graphe. . . . . . . . . . . . . . . . . . . . 48
5 Chaines de Markov et simulation 52

5.1 Algorithme Hit-and-run . . . . . . . . . . . . . . . . . . . . . . . 52
5.2 Algorithme de Metropolis . . . . . . . . . . . . . . . . . . . . . . 53
6 Chaînes de Markov en temps continu, processus de Poisson 55

6.1 Lois sans mémoire . . . . . . . . . . . . . . . . . . . . . . . . . . 55
6.2 Processus de Poisson . . . . . . . . . . . . . . . . . . . . . . . . . 56
6.3 Générateur infinitésimal . . . . . . . . . . . . . . . . . . . . . . . 57
6.4 Processus de Poisson composé . . . . . . . . . . . . . . . . . . . 57
∗ lr.raphael@gmail.com
1
7 Modèles de Markov cachés 59
7.1 Estimation par maximum de vraisemblance . . . . . . . . . . . . 60
7.2 Algorithme EM . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
7.2.1 Condition de Doeblin . . . . . . . . . . . . . . . . . . . . 63
8 Sujet d’examen 63
8.1 Juin 2011 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
2
Ressource d’exercices en ligne :
http://wims.unice.fr/wims/fr_U2~proba~oefmarkov.fr.html
En noir : l’essentiel
En magenta : exemples, explications, exercices...
Rappels
0.1 Espérances et probas conditionnelles
On rappelle la formule de probabilités conditionnelles : P(A|B) = P(A ∩
B)/P(B), pour P(B) 6= 0. On note parfois PB (A) = P(A|B), rappelons que
PB (·) est une mesure de probabilités à part entière.
Le double conditionnement se traite ainsi :
P(A ∩ B ∩ C) = P(A ∩ B|C)P(C) = PC (A ∩ B)P(C) = PC (A|B)PC (B)P(C) = P(A|B, C)P(B|C)P(C).
Autrement dit,
“P(A|B|C)00 = P(A|B ∩ C)
Etant donné des variables aléatoires X et Y ,
E(X|Y ) = ϕ(Y )
est une variable aléatoire qui est entièrement déterminée par Y . Par exemple,
si X, Y sont des variables de Bernoulli de paramètre 1/2 indépendantes,
1
E((X + Y )2 |Y ) = E(X 2 |Y ) + 2E(XY |Y ) + E(Y 2 |Y ) = EX 2 + 2Y EX + Y 2 = + Y + Y 2 = ϕ(Y ).
2
0.2 Familles sommables et théorème de Fubini

Etant donné un espace mesuré (Ω, µ) et une fonction f : Ω → R, on ne peut
pas toujours donner un sens à
Z
f (x)µ(dx),
Ω
cette quantité n’a de sens que si
Z
|f (x)|µ(dx) < ∞
Ω
c’est-à-dire si f est intégrable. (exemple de x 7→ sin(x)

x sur R). Par contre, si
f > 0, alors
Z
f (x)µ(dx) ∈ R+ ∪ {+∞}
Ω
3
est défini sans ambiguité. De même, étant donné une série (an ; n ∈ N),
∞
X
an
n=0
n’a de sens que si an > 0 ou si (an ; n > 0) est sommable, c’est-à-dire

∞
X
|an | < ∞.
n=0
Pour ce qui est de l’interversion, le théorème de Fubini nous dit que pour une
fonction bi-mesurable f (x, y) sur un produit d’espaces mesurés Ω × Ω0 ,
Z Z Z Z
f (x, y)µ(dx) µ0 (dy) = f (x, y)µ0 (dy) µ(dx)
Ω Ω0 Ω0 Ω
n’est vrai que si f (x, y) > 0 ou si

Z
|f (x, y)|µ(dx)µ0 (dy) < ∞
Ω×Ω0
ou si, de manière équivalente,

Z Z
|f (x, y)|µ(dx) µ(dy) < ∞.
Ω Ω0
Les fonctions positives peuvent être intégrées dans l’ordre qu’on veut. Si µ est
une mesure de probabilité, Ω0 = N et µ0 est la mesure de comptage, ça nous
donne
X X
E f (ω, n) = Ef (ω, n)
n∈N n∈N
sans besoin de justification si f (ω, n) > 0, ou si

X X
E |f (ω, n)| = E|f (ω, n)| < ∞.
n∈N n∈N
1 Chaînes de Markov homogènes

(Ω, P) est un espace probabilisé.
1.1 Exemples et définitions

Idée : Une chaîne de Markov est une suite d’événements aléatoires dans le
temps ou conditionnellement au présent, le futur ne dépend pas du
passé, ou autrement dit le futur ne dépend du passé que par le présent.
4
Exercice 1.
Parmi les exemples suivants, lesquels correspondent a une chaîne de Markov ?
— Les records du monde du 100m
— La population mondiale
— La position d’une voiture (car le passé nous renseigne sur sa vitesse, et
donc sur sa position future)
— Le nombre de personnes dans une file d’attente
— Un marcheur aléatoire qui ne revient jamais sur ses pas.
— Le couple (position, vitesse) d’une voiture de course
— une marche aléatoire
Définition 1. Formellement, soit E un espace fini ou dénombrable. Ce sera

l’espace d’états. Soit X = {Xn ; n ≥ 0} une suite de variables aléatoires à va-
leurs dans E. On dit que X est une chaîne de Markov si, pour tout x1 , . . . , xn+1 ∈
E, on a
P( Xn+1 = xn+1 | X1 = x1 , X2 = x2 , . . . , Xn = xn ) = P(Xn+1 = xn+1 | Xn = xn )
| {z } | {z } | {z } | {z }
Le futur Le passé (et le présent) Le futur Le présent
Cette propriété des chaînes de Markov est aussi connue comme propriété
de Markov.
Exemple 1. Modélisation
— Séquence d’ADN : ACGGTAACTC... peut-être vue en première approxi-
mation comme une chaine de Markov
— Evolution de population : Chaque jour, un individu nait ou un individu
meurt
— Généalogie/Epidémiologie : Chaque jour, un individu donne naissance
(ou contamine) un nombre aléatoire d’individu, ou meurt (guérit)
— Intelligence artificielle : Le programme Alpha Go modélise le jeu de go
comme une chaîne de Markov, et évalue les probabilités de jeu de son
adversaire, en explorant plus les branches les plus probables (Markov
tree).
— Simulation. Exemple : jeu de cartes mélangé. On part d’un jeu de cartes
(fictif) dans l’ordre, et à chaque coup on applique l’interversion de 2
cartes tirées au hasard. La “loi” du jeu de cartes converge vers la loi d’un
jeu de cartes mélangé selon une permutation uniforme
Les questions auxquelles on va tenter de répondre dans ce cours :
— Conaissant la loi de X0 , quelle est la loi de Xn , n ∈ N ? La loi de Xn
converge-t-elle ?
— Partant d’un certain x ∈ E, et pour y ∈ E, quelle est la proba que la
chaine passe par y, i.e. qu’il existe un temps T < ∞, aléatoire, pour que
XT = y ? Quel est l’espérance de T ?
— ...
Exercice 2. Soit Rn , n ≥ 0 des variables
Qn indépendantes à valeurs dans E = N.
P n
Montrer que Sn = i=1 Ri et Pn = i=1 Ri sont des chaînes de Markov.
5
Une chaîne de Markov peut ê̂tre vue comme un système dynamique, ce
qui veut dire que Xn+1 = fn (Xn ), ou fn est une “transformation aléatoire”
indépendante du passé. Dans l’exemple précédent, fn (Xn ) est la somme (ou le
produit) de Xn avec Rn+1 .
Si la transformation aléatoire fn ne dépend pas de n, i.e. Xn+1 = f (Xn )

pour tout n pour une certaine transformation f , on dit que X est une chaîne
de Markov homogène.
Cela veut dire que si à un certain instant n ≥ 0 la chaîne se trouve à l’état

x (Xn = x), alors la probabilité qu’elle se trouve à l’état y au temps n + 1 est
la même que si l’on était au temps initial.
Définition 2. Une chaîne de Markov est homogène si pour tout n ≥ 0, x et y
dans E
P(Xn+1 = y | Xn = x) = P(X1 = y | X0 = x).
Dans ce cas, on pose
Q(x, y) = P(X1 = y | X0 = x), x, y ∈ E.
Q est la matrice de transition de la chaîne X.

Dans ce cours, toutes les chaîne de Markov sont supposées homogènes.
Remarque 1. C’est éventuellement une matrice infinie
Une chaîne de Markov homogène “saute” donc aléatoirement d’états en états,
et la probabilité de chaque saut est donnée par la matrice Q.
Exemple 2. Une grenouille monte sur une échelle. Chaque minute, elle peut
monter d’un barreau avec probabilité 1/2, ou descendre d’un barreau avec pro-
babilité 1/2. L’échelle a 5 barreaux. Si la grenouille arrive tout en haut, elle
saute immédiatement en bas de l’échelle et recommence.
On appelle Xn la position de la grenouille sur l’échelle. L’espace d’états
est donc E = {0, 1, 2, . . . , 5}. Si a un instant n la grenouille est au niveau
x ∈ {1, 2, 3, 4} de l’échelle, alors à l’instant n + 1 elle sera
(
au barreau x + 1 avec probabilité 1/2,
au barreau x − 1 avec probabilité 1/2,
ce qui se traduit par
P(Xn+1 = x + 1 | Xn = x) = 1/2 (= P(X1 = x + 1 | X0 = x)),

P(Xn+1 = x − 1 | Xn = x) = 1/2 (= P(X1 = x − 1 | X0 = x)
Comme les probabilités ne dépendent pas de n, il semble que l’on tienne le bon
bout pour avoir une chaîne de Markov homogène. Si c’est le cas, on peut écrire
6
une partie de la matrice de transition :
 
? ? ? ? ? 0
 1/2 0 1/2 0 0 0 
 
 0 1/2 0 1/2 0 0 
Q=  0

 0 1/2 0 1/2 0 

 0 0 0 1/2 0 1/2 
? ? ? ? ? ?
Si la grenouille se retrouve à l’état 5, alors elle peut soit passer à l’état 4,

soit passer à l’état 0. Il faut donc remplacer la dernière ligne de la matrice par
(1/2, 0, 0, 1/2, 0),
(encore une fois cela ne dépend pas de l’instant n). Si la grenouille est à l’état
0, elle ne peut que passer à l’état 1. La première ligne de la matrice est donc
(0, 1, 0, 0, 0).
Xn est donc bien une chaîne de Markov homogène, avec matrice de transition
Q.
Exercice 3. Introduisons un facteur de fatigue f ∈ (0, 1), et imaginons qu’à
chaque instant la grenouille reste à son état actuel avec probabilité f . Xn est
toujours une chaîne de Markov ? Si oui, quelle est sa matrice de transition ?
Imaginons désormais que le facteur de fatigue f = fn dépend du temps. Que
cela change-t-il ?
Si désormais le facteur de fatigue dépend de tout le chemin parcouru par
la grenouille (nombre de barreaux montés et descendus), a-t-on toujours une
chaîne de Markov ?
Exercice 4. Le nombre d’individus d’une population évolue de la manière sui-
vante : A chaque instant, un individu nait avec la probabilité p ∈ (0, 1), ou
meurt avec la probabilité q = 1 − p.
Ecrire la matrice de transition.
Ecrire la chaîne de Markov en termes des variables introduites à l’exemple
2.
Comment corriger la matrice de transition pour qu’il n’y ait pas un nombre
négatif d’individus ?
Définition 3. On dit qu’une matrice Q (éventuellement infinie) est stochas-

tique ssi tous ses coefficients sont ≥ 0 et si la somme de chaque ligne fait 1 :
∀x ∈ E, X
Q(x, y) = 1.
y∈E
On dit aussi matrice markovienne.
7
Remarque 2. Les coefficients d’une matrice stochastique sont dans [0, 1], ils
peuvent donc représenter une probabilité...
Proposition 1. Si Q est la matrice de transition d’une chaîne de Markov, alors

elle est stochastique.
Démonstration. Soit x ∈ E. Alors

X X
Q(x, y) = P(X1 = y | X0 = x)
y∈E y
= P(“Xn aille quelque part après être allé en x...00 )

= 1.
Plus formellement,
X X
P(X1 = y | X0 = x) = E(1X1 =y |X0 = x)
y y
X
= E( 1X1 =y |X0 = x)
y∈E
Or
X
1X1 =y = 1
y∈E
tout le temps car X1 est égal à un et un seul des y. Donc

X
P(X1 = y | X0 = x) = E(1|X0 = x) = 1.
y
On va voir que réciproquement, pour toute matrice stochastique Q sur un

produit E ×E, il existe une chaîne de Markov sur E qui admet Q comme matrice
de transition . Mais elle n’est pas unique, car il faut encore préciser la loi du
premier état X0 .
1.2 Loi des Xn

Le comportement d’une chaîne de Markov X dépend entièrement de sa ma-
trice de transition Q, et de la position initiale X0 . On appelle µ0 la loi initiale
de X, c’est une mesure définie par
µ0 ({x}) = P(X0 = x).
8
Mesure et notations Toutes les mesures que l’on va voir dans ce cours sont
sur un espace fini ou dénombrable E. Cela veut dire qu’elles sont uniquement
déterminées par leurs valeurs sur les singletons : Pour A ⊂ E,
X
µ(A) = µ({x}).
x∈A
On note en général abusivement µ(x) = µ({x}) pour x ∈ E, et ces valeurs

déterminent entièrement la mesure. On peut aussi noter la mesure comme le
vecteur (ou la suite si E est infini) de ses valeurs :
µ = (µ(x))x∈E .
Par exemple si E a 2 états et que la loi µ0 de X0 peut prendre indifféremment

les deux valeurs avec probabilité 1/2,
µ0 = (1/2, 1/2).
Connaissant µ0 et Q, on peut calculer directement la loi de Xn .

Proposition 2. Pour toute suite {x0 , x1 , . . . , xn } dans E, on a
P(X0 = x0 , X1 = x1 ,X2 = x2 , . . . , Xn = xn )
=µ0 (x0 )Q(x0 , x1 )Q(x1 , x2 ) . . . Q(xn−1 , xn ).
Démonstration. On a (en utilisant la propriété de Markov)
P(X0 = x0 , X1 = x1 , X2 = x2 , . . . , Xn = xn )
=P(Xn = xn , . . . , X1 = x1 | X0 = 0)P(X0 = x0 )
=P(Xn = xn , . . . , X1 = x1 | X0 = 0)µ0 (x0 )
=P(Xn = xn , . . . , X2 = x2 | X1 = x1 , X0 = 0)P(X1 = x1 |X0 = x0 )µ0 (x0 )
=P(Xn = xn , . . . , X2 = x2 | X1 = x1 , X0 = 0)Q(x0 , x1 )µ0 (x0 )
=P(Xn = xn , . . . , X2 = x2 | X1 = x1 )Q(x0 , x1 )µ0 (x0 )
en utilisant la propriété de Markov. En utilisant le même raisonnement, on

montre que
P(Xn = xn , . . . , X2 = x2 | X1 = x1 ) = P(Xn = xn , . . . , X3 = x3 | X2 = x2 )Q(x1 , x2 ).

P(X0 = x0 , X1 = x1 , X2 = x2 , . . . , Xn = xn ) = P(Xn = xn , . . . , X3 = x3 | X2 = x2 )Q(x1 , x2 )Q(x0 , x1 )µ0 (x0 ).
Par récurrence, on montre la formule proposée.
Pour une même chaîne X, on considère souvent plusieurs lois initiales diffé-
rentes. Dans ce cas on précise la loi utilisée en notant
P = Pµ
9
dans chaque calcul de probabilité, et l’espérance est alors notée Ex . Si la loi est
un “Dirac” µ = δx pour un certain x ∈ E (ce qui veut dire X0 = x p.s.), alors
on note plus simplement Pδx = Px , Eδx = Ex .
Exemple 3. Pour reprendre l’exemple de la grenouille,
P0 (X1 = 1) = 1,
P0 (X1 = 3) = 0,
P2 (X1 = 3) = 1/2,
P0 (X3 = 3)= (1/2)3 = 1/8,
P0 (X3 = 4) = 0,
...
On peut calculer directement la loi de Xn en utilisant le produit matriciel.

Exercice 5. Soit a ∈ (0, 1). On considère une chaîne de Markov dont la matrice
de transition est la suivante :

a 1−a
1−a a
Calculer la probabilité de l’événement A3 de passer pour n ≤ 5 trois fois par

l’état 2
1. Avec µ0 = (1, 0),
2. Avec µ0 = (1/2, 1/2).
Correction :
Il faut dénombrer tous les chemins possibles qui contiennent trois fois l’état
2. En partant de 1 :
— x1 = (1, 1, 2, 2, 2)
— x2 = (1, 2, 1, 2, 2)
— x3 = (1, 2, 2, 1, 2)
— x4 = (1, 2, 2, 2, 1)
Pour le premier chemin, sa probabilité est, d’après la formule précédente,
P1 (X = x1 ) = Q(1, 1)Q(1, 2)Q(2, 2)Q(2, 2) = a(1 − a)a2 = a3 (1 − a).
Avec d’autres calculs, on montre
P1 (A3 ) = a3 (1 − a) + 2a(1 − a)3 + a2 (1 − a)2 .
Pour la seconde question, il faut calculer P2 (A3 ) de manière similaire, et on

a
Pµ0 (A3 ) = µ0 ({1})P1 (A3 ) + µ0 ({2})P2 (A3 ) = 1/2(...)
10
Notation 1. Pour une mesure µ0 et une matrice Q, on note la mesure
X
(µ0 Q)(y) = µ0 (x)Q(x, y).
x∈E
Cela revient à multiplier (matriciellement) la mesure µ0 vue comme un vecteur

µ0 = (µ0 (x1 ), µ0 (x2 ), . . . ) par la matrice Q.
Proposition 3. Si µ est la loi de X0 , alors (µQ) est la loi de X1 .
Démonstration. Soit y ∈ E.
X
P(X1 = y) = P(X1 = y, X0 = x)
x
X X
= P(X1 = y|X0 = x)P(X0 = x) = µ(x)Q(x, y) = (µQ)(y)
x x
Proposition 4. Pour tout n, la loi de Xn est µQn .
Démonstration. D’après la proposition 3, la loi de X1 est µ1 = µQ.

On peut alors “oublier” la variable X0 , et ne considérer que la chaîne qui part
de X1 (formellement, poser X00 = X1 , X10 = X2 , etc...). La matrice de transition
est toujours Q, par contre la loi initiale n’est plus µ, c’est µ1 .
La loi de X2 (i.e. X10 ) est donc, en réutilisant la proposition 3,
µ2 = (µ1 Q) = ((µQ) ∗ Q).

Comme le produit matriciel est associatif, ((µQ) ∗ Q) = µ ∗ Q ∗ Q = µ ∗ (Q ∗ Q) =
µ ∗ Q2 .
La loi de X2 est donc bien µQ2 , comme annoncé. En raisonnant par récur-
rence, on montre bien µ3 = (µ ∗ Q2 ) ∗ Q = µQ3 , . . . , ... et µn = µQn .
Exercice 6. Une chaîne de Markov avec états E = {1, 2} a la matrice de
transition
a 1−a
Q=
1−a a
pour un nombre a ∈ (0, 1).
Calculer la loi de Xn pour tout n, sachant que l’on part de l’état X0 = 1.
Donner par exemple P1 (Xn = 1) la probabilité de retour en 1 en n coups.
Correction : On a µ = δ1 . La loi de Xn est donnée par µQn , il faut donc
calculer la puissance n-ème de Q (c’est la difficulté de ce type d’exercice).
Pour cela, le plus simple est de diagonaliser la matrice. Comme c’est une
matrice stochastique,
Q∗1=1 ,
11
P
ou 1 = (1, 1, ..., 1), et ∗ est le produit matriciel (Q ∗ 1(x) = y 1Q(x, y) = 1).
Cela veut dire que 1 est vecteur propre associé à la valeur propre 1.
Comme la matrice Q est symétrique, elle est diagonalisable. La première
valeur propre est 1, et la trace est
T r(Q) = 2a.
Il s’ensuit que la seconde valeur propre est λ = 2a − 1. Pour trouver le vecteur

propre associé, résolvons le système Q ∗ (u, v) = λ(u; v) :
( (
au + (1 − a)v = (2a − 1)u (1 − a)v = (a − 1)u
(1 − a)u + av = (2a − 1)v, (1 − a)u = (a − 1)v,
i.e u = −v. Le vecteur propre (1; −1) correspond donc à la valeur propre λ.
On décompose le vecteur µ0 = (1, 0) suivant la base de vecteurs propres :
1
(1, 0) = [(1, 1) + (1, −1)]
2
Donc

1 1 1 1
Q (1, 0) = [Qn (1, 1) + Qn (1, −1)] = [(1, 1) + λn (1, −1)] =
n n n
+ λ /2, − λ /2 .
2 2 2 2
Après n coups, Xn a un tout petit peu plus de chances d’être en 1 qu’en 2,

mais ce tout petit peu est en λn et s’atténue rapidement avec le temps. Plus
a(=probabilité de rester à sa place) est grand, plus ça décroît lentement.
Exercice 7. (exercice 1.1.4 du Norris, p. 9) Une puce saute aléatoirement sur
les sommets d’un triangle, sans préférence. Quelle est la probabilité qu’après n
sauts la puce soit de retour à son point de départ ?
Remarque : De manière similaire à l’exercice précédent, on devrait trouver
1/3 plus un terme correctif qui décroît (vite) avec le temps.
Recommencer si cette fois la puce saute dans le sens des aiguilles d’une
montre avec probabilité 2/3 et dans l’autre sens avec probabilité 1/3.
Remarque 3. TRES IMPORTANT ! !
Qk (x, y) 6= Q(x, y)k .
membre de gauche : multiplication matricielle.

membre de droite : multiplication de réels (beaucoup plus facile).
Proposition 5. On a pour n ≥ 0, k ≥ 0
P(Xn+k = y|Xn = x) = Qk (x, y)
12
Démonstration. Par la propriété de Markov,
P(Xn+k = y|Xn = x) = P(Xk = y|X0 = x).
Supposons que µ0 = δx , c’est-à-dire que la chaine démarre toujours en x. On a
Px (Xk = y|X0 = x) = Px (Xk = y) = (µ0 Qk )(y) = (δx Qk )(y) = Qk (x, y).
Dans le cas général (µ0 quelconque), on a également P(Xk = y|X0 = x) =

Px (Xk = y) = Qk (x, y).
2 Temps d’absorption
Dans ce chapitre on se pose la question suivante : Etant donné une chaîne
X et x dans l’espace d’états E, quel est le temps moyen (éventuellement infini)
que met X à arriver au temps x.
Ce temps dépend évidemment de la loi initiale µ0 : Si µ0 = δx , le temps
d’attente est en moyenne 0. Si la chaîne n’est pas trop compliquée, il est possible
de mener des calculs explicites pour trouver ce temps moyen.
2.1 Temps d’arrêt

Avant d’expliquer comment faire, il faut comprendre un fait fondamental sur
les chaînes de Markov. Pour x ∈ E on définit le temps aléatoire
Tx = min{n ≥ 0 : Xn = x},
premier moment où la chaîne atteint x.

Définition 4. Soit T une variable aléatoire à valeurs dans N. T est un temps
d’arrêt si pour tout n, l’évènement (T = n) dépend uniquement du passé,
c’est-a-dire si l’évènement (T = n) est entièrement déterminé par les variables
X1 , . . . , Xn (c’est-à-dire mesurable par rapport à σ(X1 , . . . , Xn )).
Exemple 4. Pour x ∈ E, le temps Tx est un temps d’arrêt : Pour n ∈ N,
(Tx = n) = (X1 6= x, X2 6= x, . . . , Xn−1 6= x, Xn = x).
C’est bien un évènement qui est entièrement déterminé si on connait les valeurs
de X1 , . . . , Xn .
Exercice 8. 1. (T = n) peut être remplacé par (T ≤ n), ou (T > n) dans

la définition précédente.
13
2. Par contre on ne peut pas le remplacer par (T < n). Montrez que Sx =
Tx − 1 est un contre-exemple.
On peut donc donner une autre preuve que Tx est un temps d’arrêt :
(Tx > n) = ∩nk=1 (Xk 6= x) ∈ σ(X1 , . . . , Xn )
On peut alors élargir la propriété de Markov aux temps aléatoires, à

condition que ceux-ci soient des temps d’arrêt .
Exercice 9. Soit Rk , k ≥ 1, des variables iid de Rademacher, c’est-à-dire
(
P(Rk = 1) = 1/2,
P(Rk = −1) = 1/2,
et Xn leur somme. Soit T le premier temps ou la chaîne est passé deux fois par
l’état 10 :
T = min{n : Xn = 10 et il existe un seul k < n tel que Xk = 10}.
Montrer formellement que T est un temps d’arrêt.
Proposition 6 (propriété de Markov forte ). Soit k ≥ 1, et T un temps

d’arrêt . Pour x, y ∈ E,
P(XT +k = y|XT = x) = P(Xk = y|X0 = x) = Qk (x, y).
Démonstration. Prouvons-le pour T = Tx , pour un x quelconque de E, et k ≥ 1.
X
P(XTx +1 = y|XTx = x) = P(XTx +1 = y|XTx = x, Tx = n)P(Tx = n). (1)
n
Or Tx = n est équivalent à “X0 6= x, X1 6= x, . . . , Xn−1 6= x, Xn = x”. On a

donc
P(XTx +1 = y|XTx = x, Tx = n)
= P(Xn+1 = y|Xn = x; X0 6= x, X1 6= x, . . . , Xn−1 6= x)
= P(Xn+1 = y|Xn = x) = Q(x, y)
car “le futur ne dépend que du présent” (propriété de Markov ). En reportant

dans (1),
X
P(XTx +1 = y|XTx = x) = P(X1 = y|X0 = x)P(Tx = n)
n
X
= Q(x, y) P(Tx = n) = Q(x, y).
n
En appliquant ce raisonnement itérativement k fois, on obtient le résultat.
14
Exercice 10. Traiter le cas où T est un temps d’arrêt quelconque.
Si T est un temps d’arrêt quelconque, il faut juste remarquer que l’on peut
toujours écrire
P(Xn+1 = y|Xn = x, T = n) = P(Xn+1 = y|Xn = x),
car T = n ne dépend que du passé (incarné par les variable X1 , . . . , Xn ), et la
propriété de Markov nous dit que connaître le passé est équivalent à connaître
la valeur de Xn : Xn = x.
Exercice 11. Soit Xn des variables aléatoires iid positives de même loi qu’une
variable X telle que
E(|X|) < +∞.
On sait que
n
X
Sn = Xk
k=1
est une chaîne de Markov. Soit T un temps d’arrêt. Montrer que
T
X
E( Xk ) = E(T )E(X).
k=1
P∞
(Indice : le terme de gauche est égal à E k=1 Xk 1{T >k−1} )
On pourra utiliser la formulation suivante de la propriété de Markov.
Proposition 7. Une autre manière de formuler la propriété de Markov est la
suivante : Pour tout temps d’arrêt T , la chaîne
X 0 = (X00 = XT , X10 = XT +1 , . . . )
est une chaîne de Markov dont la matrice de transition est Q et la loi initiale
est XT . De plus, la loi de X 0 est indépendante de (X0 , . . . , XT −1 ) conditionnel-
lement à XT .
Démonstration. Soit x0 , . . . , xn+1 ∈ E.

0
P(Xn+1 = xn+1 |Xn0 = xn , Xn−1
0
= xn−1 , . . . , X00 = x0 )
= P(XT +n+1 = xn+1 |XT +n , . . . , XT = x0 )
X
= P(T = q|Xq+n = xn , . . . , Xq = x0 )P(Xq+n+1 = xn+1 |T = q, Xq+n = xn , . . . , Xq = x0 )
q≥0
X
= P(T = q|Xq+n = xn , . . . , Xq = x0 )P(Xq+n+1 = xn+1 |Xn+q = xn )
q≥0
X
= P(T = q|Xq+n = xn , . . . , Xq = x0 )Q(xn , xn+1 )
q≥0
X
= Q(xn , xn+1 ) P(T = q|Xq+n = xn , . . . , Xq = x0 )
q≥0
= Q(xn , xn+1 )
15
2.2 Probabilités et temps d’absorptions
Avec le langage introduit dans la section précédente, on s’intéresse pour
A ⊂ E aux quantités
hA = P(TA < ∞),

k A = E(TA ).
Remarquons que si hA 6= 1, k A = ∞, donc il faut calculer hA en premier, et

ensuite k A si ça a du sens.
Si l’on conditionne par l’état de départ x ∈ E, on a
hA
x = Px (TA < ∞) Probabilité d’arriver un jour en A en partant de x ,
kxA = Ex (TA ) Temps moyen pour y arriver.
Si x ∈ A, hA A
x est trivialement 1, et Tx est trivialement 0. Si A = {y} est
{y} {y}
constitué d’un unique point, on note hx = hyx , kx = kxy .
Théorème 1. Si x ∈ / A, pour les calculer efficacement il faut se persuader des

deux faits suivants :
X
hAx = Q(x, y)hAy , pour tout x ∈ E
y∈E
X
kxA =1+ Q(x, y)kyA , pour tout x ∈ E.
y∈E
De plus, si ce système linéaire a plusieurs solutions, (hA A

x )x (resp.(kx )x ) est la
A A
plus petite solution positive du système vérifiant hx = 1 (reps. kx = 0) pour
x ∈ A.
Traitons un exemple d’utilisation avant d’étudier la preuve :
Exemple 5. Une puce saute sur un triangle, avec une probabilité 2/3 dans le
sens horaire, et 1/3 dans le sens anti-horaire.
— On numérote les sommets : 1,2,3. Matrice de transition :
— Intéressons-nous aux temps d’atteinte. Soit A = {x1 } le sommet 1. On a
pour i = 2, 3 :
3
X
ki1 = 1 + Q(i, j)kj1 .
j=1
On a donc k1A = 1 et 2 équations :
16
3
X 1 2 2
k21 = 1 + Q(2, j)kj1 = 1 + k11 + 0 + k31 = 1 + k31 .
j=1
3 3 3
3
X 2 1 1
k31 = 1 + Q(3, j)kj1 = 1 + k11 + k21 + 0 = 1 + k21 .
j=1
3 3 3
Il faut résoudre ce système à 2 équations à 2 inconnues.
Démonstration. Les deux expressions sont obtenues en conditionnant par la

valeur de X1 dans le calcul de P(Xn ∈ A) :
X
hA
x = P(∃n ≥ 1, Xn ∈ A|X0 = x) = P(∃n ≥ 1, Xn ∈ A|X1 = y, X0 = x)P(X1 = y|X0 = x)
y∈E
X
= P(∃n ≥ 1, Xn ∈ A|X1 = y)Q(x, y)
y∈E
X
= Q(x, y)hA
y.
y∈E
De même pour kxA :
X X X
kxA = nPx (TA = n|X0 = x) = n P(TA = n|X1 = y)P(X1 = y|X0 = x)
n n y∈E
X
= Q(x, y)E(TA |X1 = y)
y
TA est le temps que met la chaîne (X0 = x, X1 , X2 , . . . ) pour arriver en A.

TA0 = TA − 1 est donc le temps mis par la chaîne X 0 = (X00 = X1 = y, X10 =
X2 , X20 = X3 , . . . ) pour arriver en A (car au lieu de partir au temps 0 on part
au temps 1).
On a donc
E(TA |X1 = y) = E(TA0 + 1|X1 = y) = 1 + Ey (TA0 ).
TA0 est le temps moyen mis par la chaîne X 0 = (X00 = X1 , X10 = X2 , . . . )
pour arriver en A. Ce temps est exactement le même qua le chaîne (X0 , X1 , . . . )
conditionnée par X0 = y pour arriver en y. Donc
Ey (TA0 ) = kyA .
En reportant, on a
X X
kxA = Q(x, y)(1 + kyA ) = 1 + Q(x, y)kyA
y y
17
car Q est une matrice de transition .
On admet la minimalité dans ce cours.
Exercice 12. Soit une population Xn qui s’éteint si n = 0 et autrement croît

(ou décroît) à chaque temps n par
(
P(Xn+1 = Xn + 1) = p,
P(Xn+1 = Xn − 1) = q = 1 − p.
La matrice de transition est


p si x 6= 0, y = x + 1

Q(x, y) = q si y = x − 1,

1 si x = y = 0,

et Q(x, y) = 0 partout ailleurs.

Le but de l’exercice est de trouver la probabilité d’atteindre 0 en partant de
n ∈ N (extinction)
1. Trouver une relation entre h0n , h0n−1 , h0n+1 . La probabilité d’atteindre 0

en partant d’un état initial de X0 = n > 0 individus est h0n , et vérifie
h0n = qh0n−1 + ph0n+1 , n ≥ 1.
Rappel sur les suites récurrentes d’ordre 2 : Si (Un ) vérifie aUn+2 +

bUn+1 + cUn = 0 pour tout n ≥ 0, il faut considérer les racines (éven-
tuellement complexes) x1 et x2 du polynôme aX 2 + bX + c. Si x1 6= x2 ,
Un est de la forme
Un = αxn1 + βxn2 , n ≥ 0.
avec α et β a déterminer en calculant des valeurs particulières de la suite.
Si x1 = x2 est une racine double,
Un = (α + βn)xn1 .
2. En déduire la forme générale de la suite (h0n )n . La suite (Un = h0n ) est

donc une suite récurrente d’ordre 2 définie par
U0 = 1,
Un = qUn−1 + pUn+1 .
Revenons au problème de la population :il faut poser le polynôme carac-

téristique X = q + pX 2 dont les racines sont
x1 = 1,
x2 = q/p.
18
La solution est donc de la forme
(
Un = α1n + β(q/p)n si p 6= 1/2,
Un = (α + βn)1n si p = 1/2.
pour α, β à déterminer.
3. En utilisant le fait que h0n ∈ [0, 1], montrer que si p ≤ 1/2, β = 0. Qu’en
déduisez-vous pour la population ? Si p ≤ 1/2, comme x2 > 1, le terme
xn2 explose, ce qui contredit Un ∈ (0, 1), donc β = 0 et Un = U0 = 1 et la
population est sure de s’éteindre.
4. Donner la probabilité d’extinction en partant de n si p > 1/2. si p > 1/2,
la probabilité de s’éteindre est de
Un = α + β(q/p)n .
La contrainte U0 = 1 impose α + β = 1. Chaque α, β ≥ 0 tels que

α + β = 1 donne une solution, mais (hA x ) est la plus petite solution !
Comme (q/p)n < 1, elle est obtenue pour α = 0, donc β = 1 et
hextinction
n = (q/p)n .
C’est le seul cas ou la population a une chance de ne pas s’éteindre. Re-

marquons que, logiquement, plus le nombre initial d’individus est grand,
moins il y a de chances de s’éteindre.
Exercice 13. Un joueur joue à pile-ou face. La pièce a une probabilité p de

tomber sur pile, et q = 1 − p de tomber sur face. Le joueur mise 1$ a chaque
fois et parie toujours sur pile.
1. Quel est la probabilité de perdre tout son capital de départ ? (Faire le lien
avec l’exo précédent).
2. Le joueur décide que si jamais il atteint 10$, il repart avec son pactole.
Quelle est la probabilité qu’il y parvienne ?
Exercice 14. Un joueur a 2$ et a besoin rapidement d’avoir 10$. Il peut jouer

son argent à pile ou face selon les règles suivantes : Si il gagne, il double sa mise,
et si il perd, il perd sa mise. Il décide d’adopter une stratégie où il joue tout
son argent à chaque fois si il a moins de 5$, et sinon il ne joue que la quantité
nécessaire pour arriver à 10$.
1. Identifier la chaine de Markov.
2. Donner le graphe de la chaine de Markov.
3. Quelle est la probabilité pour le joueur d’atteindre son objectif ?
4. Quel temps mettra-t-il en moyenne pour que le jeu s’arrête (soit parce
qu’il perd tout soit parce qu’il atteint 10$) ?
19
Exercice 15. Pour la population de l’exercice 12, on souhaite calculer la dis-
tribution du temps d’extinction T0 en partant de 1 individu. On note plus gé-
néralement Tj le premier temps de passage à j.
La méthode la plus efficace consiste à considérer la fonction caractéristique
X
ϕ(s) = E1 (sT0 ) = sn P1 (T0 = n), 0 ≤ s < 1.
n≥0
1. Montrer que
E2 (sT0 ) = E2 (sT1 )2 = ϕ(s)2 .
2. Montrer que
E1 (sT0 |X1 = 2) = E2 (s1+T0 ).
3. En déduire que pour tout s ϕ(s) vérifie la relation
psϕ(s)2 − ϕ(s) + qs = 0.
4. Montrer que
E1 (T0 ) = lim ϕ0 (s).
s↑1
En déduire la valeur du temps moyen d’extinction (on peut utiliser les ré-
sultats de l’exercice 12).
5*. Indiquer comment calculer P1 (T0 = k), k ≥ 1. En déduire P1 (T0 < ∞).
Que remarquez-vous ?
On pourra utiliser la Proposition 7.
Exercice 16. Similaire au précédent : ex. 1.4.1 du Norris, p. 23.
3 Classification des états

Exemple 6. Considérons la chaine du graphe suivant : (chaque trait représente
une probabilité 1/3 dans les deux sens), et en chaque point x il y a une probabi-
lité 1/3 de rester sur place. On observe que si la chaine part de 4, elle ne pourra
jamais arriver en 6, 1, 2, 5. On regroupe les points en catégories sur le principe
qu’une chaine de Markov ne pourra jamais sauter d’une catégorie à l’autre. Ici
on se retrouve avec trois classes : {1, 2, 5}, {3, 4}, {6}.
20
6
4 1
On s’intéresse à la “dynamique” des chaînes de Markov dans ce chapitre.

On dit qu’un état x ∈ E mène à un état y ∈ E si
Px (∃n ≥ 0, Xn = y) > 0.
La probabilité de passer par y après être passée par x est non-nulle. On note
dans ce cas
x y.
Si x y et y x, on note
x!y
et on dit que x et y communiquent.
Exemple 7. Dans l’exemple d’une population, en général, pour tout n ≥ 1,
n 0, mais 0 n pour aucun n excepté 0. On a aussi n ! m pour tous
n, m > 0.
On dit que {0} est un état absorbant.
il est facile de voir que x y ssi il existe une suite d’états x0 = x, x1 , . . . , xk =
y qui “mène” de x à y et telle que Q(xm , xm+1 ) > 0. On appelle un tel chemin
un chemin probable. La probabilité
Y
P(x → ... → y) ≥ P(x → x1 → x2 → · · · → xk = y) = Q(xm , xm++1 ) > 0.
m
Cette propriété d’existence d’un chemin est en fait nécessaire : Si aucun

chemin possible ne mène de x à y, alors on n’a aucune chance d’atteindre y.
D’une manière différente, on sait que la loi de Xn en partant de x est Qn (x, y)
(proposition 4). Donc en notant Qn (x, y) les coefficients de la matrice de tran-
sition Qn , x y ssi ∃n ≥ 0 tel que Qn (x, y) > 0 .
Théorème 2. La relation ! est une relation d’équivalence et on peut parti-

tionner E par l’ensemble des classes d’équivalences
E = ∪x∈E Cx
avec Cx = Cy si x ! y, et Cx ∩ Cy = ∅ sinon.
21
Démonstration. Prouvons que si deux états x et y ne communiquent pas, alors
Cx ∩ Cy = ∅. En effet, s’il existe z ∈ Cx ∩ Cy , alors il existe un chemin de x à z
car x z et il existe un chemin de z à y. En mettant ces chemins bout a bout,
on obtient un chemin x z. En raisonnant en partant de y, on trouve aussi un
chemin y x ; on a donc x ! y, contradiction.
Cela revient en fait à montrer la transitivité et la réflexivité de ! (né-

cessaires d’après la définition) pour montrer que c’est une relation d’équiva-
lence.
Exercice 17. Un sondeur se déplace au hasard dans un immeuble, sonnant par-
fois plusieurs fois chez la même personne. Cet immeuble comporte trois étages,
et il n’y a qu’un ascenseur, qui de surcroît ne peut que monter. Trouvez la chaîne
de Markov, et déterminer ses classes d’équivalences.
Exercice 18. Une chaîne de Markov a la matrice de transition
 
1/2 1/2 0 0 0 0
 0 0 1 0 0 0 
 
 1/3 0 0 1/3 1/3 0 
Q=  0

 0 0 1/2 1/2 0  
 0 0 0 0 0 1 
0 0 0 0 0 1
Quelles sont ses classes d’équivalence ?

On pourra dessiner un diagramme expliquant comment passer d’un état à
l’autre.
3.1 Récurrence et transience

Définition 5. On rappelle que Tx est le temps de 1er passage en x. Pour r ≥ 0,
on note
Tx(r) le temps de r-ème retour en x,
défini par récurrence par
Tx(0) = Tx ; Tx(r+1) = inf{n > Tx(r) : Xn = x}.
Définition 6. Un état x est dit récurrent si la probabilité de retour est 1, c’est-

à-dire si
Px (Tx(1) < ∞) = 1.
Si cette propriété n’est pas vérifiée, on dit que l’état est transient.
Exemple 8. Marche aléatoire sur Zd .

Exercice 19. Dans l’exercice 17, quelles sont les classes récurrentes ? Tran-
sientes ?
22
(1)
Remarque : Tx 6= Tx = 0 si X0 = x.
(r)
Montrons que Tx , r ≥ 0, est un temps d’arrêt :
(r)
Proposition 8. Pour tous x ∈ E, r ≥ 0, Tx est un temps d’arrêt.
Démonstration. On peut commencer par réfléchir à ce que ça veut dire et voir

que c’est assez évident : “au temps n, je peux dire si oui ou non je suis passé r
fois par x”...Plus formellement :
(r)
Il suffit de montrer que pour n ≥ 0 l’événement (Tx = n) est déterminé
par ce qui se passe avant n :
Tx(r) = n ⇔∃ une sous-partie P ⊆ {1, . . . , n − 1} de cardinal |P | = r
telle que (Xi = x) pour i ∈ P et Xi 6= x pour i ∈
/ P et Xn = x.
Donc
[
(Tx(r) = n) = (Xn = x; Xi = x, i ∈ P ; Xi 6= x, i ∈
/ P ),
P ⊆{1,...,n−1},|P |=r
et voilà !
On pouvait le montrer par récurrence en remarquant
(Tx(r) = n) = ∪0≤k<n (Tx(r−1) = k; Xm 6= x, k < m < n; Xn = x).
On appelle r-ème excursion

Sx(r) = Tx(r+1) − Tx(r)
le temps passé loin de x entre le r-ème et le r + 1-ème passage.
(r)
Proposition 9. La loi de Sx ne dépend pas de r : Pour tout k ≥ 1
P(Sx(r) = k) = P(Sx(1) = k) = Px (Tx = k).
(r) (r) (r)
De plus, Sx est indépendante de (Xk ; k ≤ Tx ). Les Sx , r > 0, forment donc
une suite de variables IID (indépendantes et identiquement distribuées).
Démonstration. En appliquant la propriété de Markov forte , la chaîne

(r) (r) (r)
X (r) = (X0 = XT (r) = x, X1 = XT (r) +1 , X2 = XT (r) +2 , . . . )
x x x
(r)
est est une chaîne de Markov de matrice de transition Q qui démarre de X0 =x
(donc de loi initial µ0 = δx ).
On peut considérer simultanément plusieurs évènements du futur :
P(XT (r) +1 = y1 , XT (r) +2 = y2 , . . . , XT (r) +k = yk |XT (r) = x) = Px (X1 = y1 , . . . , Xk = yk ).
x x x x
En choisissant yk = x, yi 6= x pour i < k, on a

P(Sx(r) = k) = P(Tx = k), k ≥ 0.
23
Une autre manière de voir les choses est de considérer le nombre de visites
en un point x après 0 sachant X0 = x :
∞
X
Vx = #{n ≥ 1 : Xn = x} = 1Xn =x .
n=1
Remarquons que par le théorème de Fubini/Beppo-Levi

X X X X
Ex Vx = Ex ( 1Xn =x ) = Ex (1Xn =x ) = Px (Xn = x) = Qn (x, x).
n≥1 n≥1 n≥1 n≥1
Qn (x, x) < ∞.
P
En particulier, cela implique que Vx < ∞ p.s. si n
Proposition 10. x ∈ E est récurrent ssi pour toute loi initiale
Vx = ∞ p.s.
ssi X
Qn (x, x) = ∞.
n≥0
Démonstration. On a p.s. 1Vx >r → 1Vx =∞ quand r → ∞ et (TCD avec la

domination 1Vx <r ≤ 1 sur l’espace (Ω, Px ))
P(Vx = ∞) = lim P(Vx > r) = lim pr ,

r→∞ r
ou pr = Px (Vx > r) est la probabilité qu’il y ait plus de r visites, c’est-a-dire au

moins r retours.
(r)
Remarquons que (Vx > r) équivaut à (Tx < ∞) (le r-ème passage survient
en un temps fini). Calculons pr par récurrence :
pr+1 = P(Tx(r+1) < ∞) = P(Tx(r) < ∞ et Tx(r+1) − Tx(r) < ∞)

= P(Tx(r) < ∞ et Sx(r) < ∞)
= P(Sx(r) < ∞|Tx(r) < ∞)Px (Tx(r) < ∞)
= P(Tx(1) < ∞)P(Tx(r) < ∞)
= p1 pr .
On en déduit par récurrence cette formule importante :
P(Tx(r) < ∞) = P(Vx > r) = pr1
ou p1 = Px (Tx < ∞).

On a donc (
1 si p1 = 1,
P(Vx > r) = pr1 →
0 si p1 < 1.
24
Comme p1 est la probabilité de retour en x, on voit que Vx est p.s. infini ssi
p1 = 1, c’est-à-dire ssi x est récurrent.
On a déjà montré que si n Qn (x, x) < ∞, alors Vx < ∞ p.s. et donc x est
P
transient.
Pour la réciproque, supposons x transient : alors p1 < 1. On utilise un
lemme :
Lemme 1. Soit V une variable aléatoire à valeurs dans N. Alors
X
E(V ) = P(V ≥ r).
r∈N
Démonstration.
X X
E(V ) = rP(V = r) = r(P(V ≥ r) − P(V ≥ r + 1))
r≥1 r≥1
X X
= rP(V ≥ r) − rP(V ≥ r + 1)
r≥1 r≥1
X X
= rP(V ≥ r) − (r − 1)P(V ≥ r)
r≥1 r≥2( ou 1)
X X
= (r − (r − 1))P(V ≥ r) = P(V ≥ r).
r≥1 r≥1
Donc X X
E(Vx ) = P(Vx ≥ r) − 1 = pr1 < ∞ car p1 < 1.
r r
Donc Vx < ∞ p.s..
Exercice 20. Marche aléatoire sur Z
Soit Xn ; n ≥ 1 des variables aléatoires iid de Rademacher (de loi

(
P(X1 = 1) = 1/2,
P(X1 = −1) = 1/2.)
On définit la Marche aléatoire sur Z

(
S0 = 0;
Sn = Sn−1 + Xn , n ≥ 1.
Le but de l’exercice est de montrer que la marche aléatoire est récurrente ;

i.e. tout état est récurrent. Nous utiliserons 2 méthodes.
25
1. a)Montrer que pour tout x, x est récurrent ssi 0 est récurrent.
b)Utiliser les résultats de l’exercice 12 pour montrer que la chaîne est récur-
rente. (Utiliser P0 (Xn = 0) = (1/2)P1 (Xn = 0) + (1/2)P−1 (Xn = 0).)
2. On veut calculer explicitement la quantité Qn (0, 0) = P0 (Xn = 0).

a) Montrer que Qn (0, 0) = 0 si n est impair.
b)En utilisant le fait que tout chemin menant de x à x en n coups est
constitué d’autant de “+1” que de “−1”, montrer que le nombre de tels chemins
est 
0 si n est impair,
 !
Γn,0→0 = n n
Cn/2 =
 si n est pair.
n/2
c) En montrant que chaque chemin a une probabilité 2−n , donner une ex-
pression explicite de Qn (x, x).
d)En déduire le résultat. On pourra utiliser la formule de Stirling
√
n! ∼n→∞ nn e−n 2πn.
3) Qu’est-ce qui change si P(Xn = 1) = p ∈ (0, 1) et P(Xn = −1) = q =

1 − p ? La marche aléatoire est-elle toujours récurrente ?
Exercice 21. Marche aléatoire sur Z2 . On définit Xn des variables aléatoires

iid telles que
P(Xn = (−1, 0)) = P(Xn = (1, 0)) = P(Xn = (0, 1)) = P(Xn = (0, −1)) = 1/4,
et S0 = 0; Sn+1 = Sn + Xn est la marche aléatoire sur Z2 .

On va montrer que c’est une chaîne de Markov récurrente.
1. On appelle Xn+ la projection de Xn sur la droite d’équation y = x, et Xn−
la projection sur la droite d’équation y = −x.
a)Montrer que
(
√1 avec probabilité 1/2,
+
Xn = −12
√ avec probabilité 1/2,
2
et qu’il en est de même de Xn− .

b)Montrer que Xn+ et PXn− sont indépendantes.
2)a)On appelle Sn = k≤n Xn+ la projection de Sn sur la droite “y = x00 et
+
Sn = k≤n Xn− . Quelle est la probabilité P0 (Sn− = Sn+ = 0) ?

−
P
b)En déduire que la chaîne est récurrente.
3∗ . Montrer que la marche aléatoire sur Zd est transiente pour d ≥ 3.
Théorème 3 (Polya,1921). La marche aléatoire sur Zd est récurrente (en tous

points) si d ≤ 2 et transiente (en tous points) si d ≥ 3.
26
Proposition 11. Au sein d’une même classe d’équivalence, les états sont soit
tous récurrents, soit tous transients. On parle alors de classe récurrente ou de
classe transiente.
Démonstration. Soit x ! y deux états d’une même classe, avec x transient

(donc r Qr (x, x) < ∞). Il existe alors n, m tels que
P
Px (Xm = y) = Qm (x, y) > 0, Py (Xn = x) = Qn (y, x) > 0.
Pour r ≥ 0, on a
Px (Xn+m+r = x) ≥ Px (Xm = y; Xm+r = y; Xm+r+n = x),

m r n
qui correspond à la probabilité du chemin (x → y → y → x). En décomposant
la chaîne selon les temps d’arrivée en x et de r-ème passage en y, on en déduit :
Px (Xn+m+r = x) ≥ Qm (x, y)Qr (y, y)Qn (y, x).
Donc X 1 X
Qr (y, y)≤ Qr (x, x) < ∞.
r
Qm (x, y)Qn (y, x) r
Donc y est transient.
Remarque 4. Si E est fini, il y a toujours au moins une classe récurrente. (Il

est impossible que tous les états n’aient été visités qu’un nombre fini de fois en
un temps infini).
Il peut y avoir plusieurs classes récurrentes.
Définition 7. On dit qu’une chaîne de Markov est irréductible si il n’y a qu’une
seule classe.
Exemple 9. La marche aléatoire sur Z est irréductible. Attention : Il n’y

a qu’une seule classe et pourtant cette classe peut être transiente ! (Lorsque
p6= 1/2).
4 Distributions invariantes
Analyse asymptotique d’une chaîne de Markov :
1. Découper les états en classes.
2. On analyse chaque classe séparément :
— Si la classe est transiente, la chaîne s’échappe “à l’infini”, donc asymp-
totiquement elle n’est nulle part en particulier (ex : Marche aléatoire
asymétrique sur Z)...(ou alors elle est passée dans une classe récur-
rente et ne reviendra plus)
27
— Si la chaîne est récurrente, elle visite les états les uns après les autres,
en revenant sur ses pas (C’est notamment le cas lorsque la classe est
finie). On se pose alors les questions suivantes :
• Combien de temps passe-t-elle en moyenne dans chaque état ?
• Y’a-t-il convergence (pour chaque x, y de la classe) de Px (Xn = y) ?
Si oui, la limite dépend-elle de x ?
Pour simplifier, on considère qu’il n’y a qu’une seule classe (quand il y en
a plusieurs, on peut utiliser les résultats de la partie 2 pour savoir dans quelle
classe on finira et avec quelle probabilité)
Que se passe-t-il quand la chaine est transiente ? Soit x ∈ E. D’après la
Proposition 10, le nombre de visites en x est p.s. fini. Soit Sx le dernier temps
passé en x :
Sx = max{n : Xn = x}.
Alors,
Px (Xn = x) 6 P(Sx > n),
et cette dernière probabilité est le reste de la série convergente

X
1= P(Sx = n),
n>1
donc ce reste tend vers 0. Donc
Px (Sn = x) → 0.
C’est d’autant plus vrai en partant d’un autre état y : Pour tous états x, y
Py (Xn = x) → 0.
cela veut dire qu’asymptotiquement, la chaine n’est nulle part en particulier,

elle “s’échappe a l’infini.”
Exemple 10. L’urne d’Ehrenfest N particules sont dans une boite, séparées
par un petit trou. A chaque instant une particule passe de la moitié gauche à
la moitié droite, ou le contraire. On note Xn le nombre de particules à gauche
au temps n. (N − Xn est donc le nombre de particules à droite). La probabilité
qu’une particule soit éjectée dépend de la “pression” présente :
P(Xn+1 = Xn − 1) = Xn /N (pression à gauche),

P(Xn+1 = Xn + 1) = (N − Xn )/N (pression à droite).
Montrer que c’est un chaîne de Markov irréductible et récurrente.
Définition 8. Soit µ une mesure sur E. On dit que µ est invariante pour la
chaîne de Markov X de matrice de transition Q si µQ = µ.
28
µ est une mesure invariante ssi pour tout x ∈ E
X
µ(x) = Q(y, x)µ(y).
y∈E
(Il suffit de regarder la coordonnée x de l’égalité µ = µQ.)

Rappel : Une distribution est une mesure dont la masse totale est 1 (c’est-
à-dire une mesure pour laquelle la somme des masses de tous les termes vaut
1). On dit aussi une mesure de probabilité, ou juste une probabilité.
Donc une distribution invariante est une mesure invariante dont la masse
vaut 1.
La mesure est dite invariante car si le premier état est tiré au hasard selon
cette loi µ, alors le second point aura la même loi (mais dans ce cas il ne peut
s’agir que de lois de probabilités) :
Proposition 12. Si µ0 la distribution initiale est invariante, alors µ0 est éga-
lement la distribution de X1 , X2 , . . . , c’est-à-dire pour tout x ∈ E
Pµ0 (X1 = x) = Pµ0 (X2 = x) = · · · = µ0 (x).
Démonstration. La preuve est évidente quand on se rappelle de la proposition

4 qui stipule que le loi de X1 est µ0 Q = µ0 , celle de X2 est µ0 Q2 = (µ0 Q)Q =
µ0 Q = µ0 , etc...
L’idée cachée derrière une distribution invariante est la suivante (nous allons
la concrétiser dans cette partie) : Le temps moyen passé par la chaîne en un
état x est proportionnel à µ0 (x). De plus dans certains cas, on a la convergence
Py (Xn = x) → µ0 (x) indépendamment de y (ces résultats sont faux dans un
cadre général mais on précisera par la suite).
Quelle est la conséquence de l’existence d’une mesure invariante ? Intuitive-
ment, la fréquence de retour à un état x dépend du nombre de points y qui
“pointent” vers x, c’est-à-dire tels que Q(y, x) est “grand”, pondérés par la pro-
babilité de passer vers ces points y. En d’autres termes, le temps moyen passé
en x sera proportionnel à
X
µ0 (y)Q(y, x) = µ0 (x)
y
car µ0 est invariante !

Si la mesure de départ n’est pas invariante, on espère qu’on va “converger”
vers la distribution invariante. Ce sera l’objet du prochain chapitre.
Proposition 13. On suppose E fini. On sait que pour x ∈ E, pour tout n ≥ 0,
µx,n = (Qn (x, y))y∈E = (Px (Xn = y))y∈E est une mesure de probabilité.
Si il existe x ∈ E et une mesure de probabilité π tel que pour chaque y
µx,n (y) → π(y),
alors π est une distribution invariante.
29
Démonstration. Soit y ∈ E. Alors on conditionne par la valeur de Xn
X
π(y) = lim Px (Xn+1 = y) = lim Px (Xn = z, Xn+1 = y)
n n
z∈E
X
= lim Px (Xn = z)Px (Xn+1 = y|Xn = z)
n
z∈E
X
= lim Px (Xn = z)Q(z, y)
n
z∈E
X
= π(z)Q(z, y) = (πQ)(y).
z
C’est en fait vrai pour toute mesure initiale. La réciproque

est fausse en
0 1
général (considérer par exemple la matrice de transition , ou la marche
1 0
aléatoire sur Z). Elle est cependant vraie sous certaines hypothèses
Exemple 11. On considère la matrice de transition de l’exo 6

a 1−a
Q=
1−a a
On a vu à l’exo 6 que si a = 1/2,
P1 (Xn = 1) = 1/2 + λn /2 → 1/2,
P1 (Xn = 2) = 1/2 − λn /2 → 1/2,
P2 (Xn = 2) = 1/2 + λn /2 → 1/2,
P2 (Xn = 1) = 1/2 − λn /2 → 1/2,
ou λ = (2a−1) ∈ (−1, 1). donc µ = (1/2)δ1 + (1/2)δ2 est une mesure invariante.
(On pouvait aussi faire le calcul directement...)
Exercice 22. Donner toutes les mesures invariantes, et les probabilités inva-
riantes, en fonction de a.
Remarquons aussi que si µ est une mesure invariante, et t > 0, alors tµ aussi
est invariante :
Q(tµ) = t(Qµ) = tµ.
En particulier, si la masse totale de µ, c’est-a-dire µ(E), est finie,
µ(x)
π(x) :=
µ(E)
est une probabilité invariante.
Modulo cette liberté, y’a-t-il beaucoup de mesures invariantes ?
30
Théorème 4 (Admis). Toute chaîne de Markov irréductible récurrente admet
au plus une mesure invariante à une constante multiplicative près (et donc au
plus une probabilité invariante).
Aucun point n’est “oublié” par une mesure invariante :
Exercice 23. Soit µ une distribution invariante. Alors µ(x) 6= 0 pour tout
x ∈ E. P
Correction : Comme y∈E µ(y) = 1, il existe y ∈ E pour lequel µ(y) 6= 0.
Comme la chaîne est irréductible, ∃n ≥ 0 tel que Qn (y, x) > 0. Or
X
µ(x) = µ(z)Qn (z, x) ≥ µ(y)Qn (y, x) > 0.
z∈E
Il existe toujours une mesure invariante pour une chaîne récurrente. On la

construit comme ceci :
Proposition 14. Soit X une chaîne de Markov IR, et x ∈ E. On appelle µx
la mesure définie par
Tx(1)
X
µx (y) = Ex ( 1Xn =y ), y ∈ E
n=1
le nombre moyen de visites en y entre 2 passages en x. Alors pour tout x, µx

est une mesure invariante.
De plus, 0 < µx (y) < ∞ pour tout x, y ∈ E.
(1)
Comme la chaine est récurrente, on sait que Tx < ∞ p.s.. Par contre, rien
(1)
n’indique que ETx < ∞.
Démonstration. Vérifions que cette mesure est bien invariante.
31
Soit y ∈ E.
X
µx (y) = Ex ( 1Xn =y et n≤T (1) )
x
n≥1
X
=( Px (Xn = y et n ≤ Tx(1) ))
n≥1
XX
= Px (Xn = y, Xn−1 = z, Tx(1) ≥ n)
n≥1 z∈E
XX
= Px (Xn = y|Xn−1 = z, Tx(1) ≥ n)Px (Xn−1 = z, Tx(1) ≥ n) on conditionne par la valeur de Xn−1
n≥1 z∈E
XX
= Px (Xn = y|Xn−1 = z)Px (Xn−1 = z, Tx(1) ≥ n)
n≥1 z∈E
car Tx(1) ≥ n ⇔ (Tx(1) ≤ n − 1)c est mesurable par rapport à X0 , X1 , . . . , Xn−1

XX
= Q(z, y)Px (Xn−1 = z, Tx(1) ≥ n)
n≥1 z∈E
X X
= Q(z, y) Px (Xn−1 = z, Tx(1) ≥ n)
z∈E n≥1
X X
= Q(z, y) Px (Xn = z, Tx(1) ≥ n + 1)
z∈E n≥0
Tx(1) −1
X X
= Q(z, y)Ex ( 1Xn =z )
z∈E k=0
X
= Q(z, y)µx (z)
z∈E
Montrons que 0 < µx (y) < ∞. Comme x et y communiquent, il existe

n, m > 0 tels que Qn (x, y) > 0, Qm (x, y) > 0. Comme la mesure est invariante :
X
µx (y) = (Qn µx )(y) = Qn (z, y)µx (z) > Qn (x, y)µx (x) > 0.
z
De manière similaire,
X
1 = µx (x) = Qm (z, x)µx (z) > Qm (y, x)µx (y),
z∈E
donc µx (y) 6 (Qm (y, x))−1 < ∞.
Comme µx est une mesure invariante, si sa masse est finie, alors

µx (y)
π(y) = , y ∈ E.
µx (E)
est une distribution invariante (et ne dépend pas de x).
32
On a
Tx(1) Tx(1) Tx(1)
X X XX X
µx (E) = Ex 1Xn =y = Ex 1Xn =y = Ex 1 = Ex Tx(1) .
y∈E n=1 n=1 y n=1
On en déduit
µx (y)
π(y) = (1)
Ex Tx
Avec x = y, ça nous donne notamment une relation entre la valeur de la distri-
bution invariante en x et le temps de retour moyen :
1
π(x) = (1)
Ex Tx
(1)
Même si c’est théoriquement intéressant, Ex Tx (ou πx (y)) est dur à calculer
en pratique : Il faut résoudre un systèmes de |E| équations a |E| inconnues.
Voici un outil plus pratique :
Proposition 15. On dit qu’une distribution µ est réversible si
µ(x)Q(x, y) = µ(y)Q(y, x), x, y ∈ E.
Toute distribution réversible est aussi invariante
Démonstration.
X X X
Pµ (X1 = x) = µ(y)Q(y, x) = µ(x)Q(x, y) = µ(x) Q(x, y) = µ(x),
y y y
c’est-à-dire µQ = µ.
Exemple 12. Cherchons une éventuelle distribution invariante dans l’urne

d’Ehrenfest. Commençons par chercher une mesure réversible. Une telle mesure
µ doit vérifier
µ(k)Q(k, k + 1) = µ(k + 1)Q(k + 1, k), 0 ≤ k < N

µ(k)(1 − k/N )= µ(k + 1)(k + 1)/N
N −k
µ(k + 1) = µ(k).
k+1
On en déduit par récurrence
(N − (k − 1))(N − (k − 2)) . . . (N − k + 1)(N − k + 2) . . . k

µ(k) = µ(1) = µ(0) = CN µ(0).
k(k − 1) . . . k(k − 1) . . .
33
Pour être en présence d’une distribution, il faut que la masse totale fasse 1,
c’est-à-dire
N
X
k
µ(0) CN = µ(0)(1 + 1)N = 1,
k=0
donc µ(0) = 2 , donc µ = (2−N CN

−N k
)k=0...N est une distribution invariante
(c’est la loi binomiale).
Exercice 24. 1. Donner une mesure invariante pour la marche aléatoire

sur Z et montrer qu’il n’existe pas de distribution invariante.
2. Montrer que la marche aléatoire dissymétrique sur Z admet plus d’une
mesure invariante (même à une constante près). Pourquoi cela ne contredit-
il pas le Théorème 4 ? Existe-t-il une distribution invariante ?
Rappelons (Exercice 15) que dans le cas de la marche symétrique, le premier

temps de retour en 0 vérifie
E0 (T0 ) = ∞
Remarque 5. Les équations (où les inconnues sont les ax , x ∈ E)

X
ax = Q(y, x)ay , x ∈ E,
y∈E
qui caractérisent les mesures invariantes, sont a ne pas confondre avec les équa-
tions
X
ax = Q(x, y)ay ,
y∈E
dont la plus petite solution donne les probabilités d’absorption.
Exemple 13 (Moteur de recherche). On appelle N le nombre de pages web. On

considère un internaute qui surfe sur le web en cliquant au hasard sur chaque
page web. On note x → y si une page x pointe vers une page y. quelle est la
matrice de transition de cette chaîne de Markov ? On appelle crédit accordé par
une page x à une page y la valeur
1x→y
cx→y =
#liens dans la page x
Intuitivement, quel sera le temps moyen passé sur une page web ? Quel est le
lien avec la distribution invariante ? Quel devrait être le temps de retour moyen ?
On a le théorème général :
34
Théorème 5. Soit X une chaîne de Markov irréductible. Alors on a les équi-
valences suivantes :
(i)X admet une distribution invariante unique, définie par
1
π(x) = (1)
Ex (Tx )
(ii) Tout état x vérifie

Ex (Tx(1) ) < ∞
(iii) Un état x le vérifie.
(1)
Démonstration. On suppose X0 = x p.s., donc Tx = Tx .
D’après la proposition 14, µx est une mesure invariante qui vérifie
X Tx
X Tx X
X
µx (E) = Ex 1Xn =y = Ex 1Xn =y
y n=1 n=1 y
Tx
X
=E 1 = Ex Tx ,
n=1
(iii) ⇒ (i)
Donc si Ex (Tx ) < ∞, Exµ(Tx x ) est une distribution invariante . Comme il existe
au plus une distribution invariante (à constante près), tout autre distribution
invariante π 0 vérifie π 0 = Cπ pour une certaine constante C, mais la contrainte
0
P P
x∈E π(x) = x∈E π (x) = 1 impose C = 1. Donc π = 1.
(i) ⇒ (ii) Si π est une distribution invariante, µx = λπ pour un certain

λ < ∞, et donc
Ex (Tx ) = µx (E) = λ < ∞,
pour tout x ∈ E.
Si X vérifie la condition (i) (ou de manière équivalente (ii) et (iii)), on dit

que X est récurrente positive, sinon on dit qu’elle est récurrente nulle.
Théorème 6. Soit X une chaîne de Markov IR sur un espace d’états fini. Alors
X est IRP.
Démonstration. Soit x ∈ E, µx laPmesure définie à la proposition 14. Comme

µx (y) < ∞ pour y ∈ E, µx (E) = y∈E µx (y) < ∞, et donc
µx
π=
µx (E)
définit une distribution invariante.
35
Exercice 25. On considère une particule qui saute de sommets en sommets sur
un cube en trois dimensions. Elle ne peut sauter que sur un sommet adjacent,
c’est-à-dire relié par une arête. Elle n’a pas de préférence de direction.
1. Pourquoi y’a-t-il une unique distribution invariante ? Quelle est-elle ?
2. Quel est le temps moyen de retour en un sommet donné ?
3. Soit x et y deux sommets du cubes. En moyenne, combien de temps la
puce passe-t-elle en x entre deux passages en y ?
4. * Soit x et y deux sommets opposés du cube (c’est-à-dire pas sur la même
face). Quel est le temps moyen pour aller de x à y ?
A RENDRE : Ne rendre que les questions 1 et 2.
Exercice 26 (Remplacement de machines). On modélise le cycle de renouvel-
lement d’une machine par une chaîne de Markov. Au temps 0 on affecte une
machine à une certaine fonction. La machine a une probabilité pi ∈ (0, 1) de
passer de la i-ème à la i + 1-ème année, et si elle flanche, elle est remplacée par
une machine neuve identique.
1. Ecrire le graphe de la chaine de Markov.
2. a) Montrer qu’il existe une mesure invariante µ telle que µ(0) = 1 ssi
N
Y
vN := pk → 0 quand N → ∞.
k=0
b)En utilisant
P le rappel sur les produits infinis, vérifier que cette condition
est vérifiée ssi k≥1 (1 −Ppk ) = ∞.
c)En déduire que si k≥0 (1 − pk ) < ∞, E(temps de remplacement) = ∞.
3. On suppose qu’il n’y a pas de vieillissement : la probabilité de passer
de l’année i à l’année i + 1 est la même pour tout i. On note p ∈ (0, 1) cette
probabilité. Quel est le temps moyen de remplacement ? Qu’en déduit-on pour
une machine qui vieillit normalement ?
Rappel sur les produits infinis.

Théorème 7. Pour toute suite de nombres pn ∈ (0, 1],
n
Y
pk → l ∈ [0, 1]
k=1
avec X
l=0⇔ (1 − pk ) = ∞.
k≥0
Preuve :
On pose
n
Y
Πn = pk ,
k=1
36
on s’intéresse à la convergence de la suite Πn . On a Πn > 0 et
n
X
log(Πn ) = log(pk )
k=1
et Πn converge ssi log(Πn ) converge. Il faut donc au moins que log(pk ) → 0 et

donc que pk → 1.
Remarquons que si pk ne tend pas vers 1 il existe η < 1 tel que pk ≤ η pour
une infinité de k et donc pour tout q ≥ 0 on a Πn ≤ η q pour n suffisamment
grand, d’ou Πn → 0.
Si par contre pk → 1 on pose qk = 1 − pk → 0 et on a
log(pk ) = log(1 − qk ) ∼ −qk
et donc les stg log(pk ) et −qk ont même P

nature.
Donc Πn → 0 ssi log(Πn ) → −∞ ssi qk = ∞.
4.1 Convergence à l’équilibre

Peut-on dire que si π est une distribution invariante, alors la loi de Xn
converge vers π ? La réponse est vraie sous certaines hypothèses, mais il faut
tout de même exclure certaines situation désagréables...
Exemple 14. Soit la matrice de transition

0 1
1 0
Le distribution (1/2)(δ1 + δ2 ) est invariante, mais comme Xn oscille indéfini-

ment entre 1 (n pair) et 2 (n impair), sa loi ne peut pas converger...
Définition 9. Une chaîne irréductible est dite apériodique ssi pour tout x ∈ E
Qn (x, x) > 0 pour n suffisamment grand.
A l’inverse, pour une chaine périodique, il existe un entier p > 1 minimal,
appelée période, tel que pour un certain x ∈ E et un certain entier k, pour tout
n ≥ 1,
Qk+np (x, x) = 0.
(admis)
Théorème 8. Une chaine est apériodique si pour un x ∈ E le pgcd de tous les
temps n tels que Qn (x, x) > 0 est 1 .
Démonstration. Si ce n’est pas le cas, soit p > 1 le pgcd. Pour k > 0, posons
n = kp + 1. Alors, comme p ne divise pas n, on a Qn (x, x) = 0. Il y a une infinité
de n comme ca, donc la chaine a une période de p.
37
Montrons que si la propriété est vérifiée par un x, alors elle l’est par tous les
0
éléments de E. Soit y ∈ E. Soit m, m0 > 0 tel que Qm (x, y) > 0, Qm (y, x) > 0.
k+np m+k+np+m0
Si Q (y, y) > 0, on a Q (x, x) > 0, ce qui est faux. Donc y n’est
pas périodique.
Théorème 9 (Convergence à l’équilibre). Soit X une chaîne de Markov IRPA.

Supposons que π soit une distribution invariante pour X. Alors pour tout x ∈ E,
Px (Xn = y) → π(y).
Démonstration. On va utiliser un couplage : Soit Y = (Yn )n∈N une chaîne de

Markov de matrice de transition Q et de distribution initiale π. Alors on définit
Xn = (Xn , Yn ).
“Le futur ne dépend que du présent”, donc X est une chaîne de Markov .
Elle est de plus irréductible car pour aller d’un état (x, x0 ) à un état (y, y 0 )
q q0
on choisit q > q 0 tels que P(x → y) > 0 et P(x0 → y 0 ) > 0. On sait de plus que
n n
pour tout n ≥ n0 , P(x → x) > 0 et P(x0 → x0 ) > 0. On a alors pour la chaîne
X :
n q !
x →0 x →y
P n0 +q−q 0 0 q0 >0
x0 → x → y0
c’est-à-dire
n0 +q
P((x, x0 ) → (y, y 0 )) > 0,
donc X est irréductible.
De plus la distribution Π(x, y) = π(x)π(y) est invariante pour X car
PΠ (X1 = (x, y)) = Pπ (X1 = x)Pπ (Y1 = y) = π(x)π(y)
. Le chaîne X est donc récurrente positive.

On choisit arbitrairement un état x ∈ E et on pose
T = min{n : Xn = (x, x)} = min{n : Xn = Yn = x}.
T est un temps d’arrêt car c’est le temps de retour en (x, x). Comme X est
irréductible récurrente, T < ∞ p.s..
On pose (
Xn si n ≤ T
Zn =
Yn si n > T .
On utilise une astuce pour montrer que Z = (Zn )n≥0 est une chaîne de
Markov de même matrice de transition que X et Y et de loi initiale (Z0 = X0 =
x).
38
Comme T est un temps d’arrêt, d’après la Propriété de Markov forte,
(XT +n )n>0
est une chaîne de Markov de même matrice de transition que X , de loi initiale
(x, x), et indépendante de (Xn , n 6 T ).
Soit X 0 = (Y, X) obtenue en échangeant les coordonnées de X . Pour les
mêmes raisons, (XT0 +n , n > 0) a la même loi que (Xn0 , n > 0), et est indépendante
de (Xn0 , n 6 T ), et donc de (Xn , n 6 T ). Remarquons que (Xn , n 6 T ) et
(Xn0 , n 6 T ).
Donc, X 00 , qu’on construit en collant (Xn , n 6 T ), et (Xn0 , T + n, n > 0), a
la même loi que X . En regardant la 1re coordonnée de cette égalité en loi, on
en déduit que Z a la même loi que X.
Donc pour tout n, Zn a la même loi que Xn (c’est-à-dire Px (Zn = y) =
Qn (x, y)). Comme π est invariante et est la loi de Y0 , c’est aussi la loi de Yn et
on a
|P(Xn = y) − π(y)| = |P(Zn = y) − P(Yn = y)|

= |P(Zn = y, n ≤ T ) + P(Zn = y, n > T ) − P(Yn = y, n > T ) + P(Yn = y, n ≤ T )|
= |P(Zn = y, n ≤ T ) + P(Zn = y, n > T ) − P(Zn = y, n > T ) + P(Yn = y, n ≤ T )|
= |P(Xn = y, n ≤ T )
≤ P(n ≤ T ) → 0
car T < ∞ p.s..
Exercice 27. Soit Q une matrice stochastique de taille N , et λ une valeur

propre complexe de Q de module 1. Montrer que λ est une racine de l’unité.
(Indication : Commencer par le cas ou la chaîne de Markov correspondante est
irréductible et apériodique).
Conclusion : Une “bonne” chaîne de Markov est une chaîne de Markov IRPA ;
car elle admet automatiquement une distribution invariante.
Exercice 28. Soit X une chaîne de Markov IRP. On suppose que X0 ∼ π suit
la loi invariante. On pose
τ = min{n ≥ 1 : Xn = X0 }.
1.Montrer que E(τ ) = |E| est le nombre d’états possibles (en particulier
E(τ ) = ∞ si il y a une infinité d’états). Est-ce en contradiction avec le fait que
(1) 1
pour tout x ∈ E, Ex (Tx ) = π(x) < ∞?
2. En déduire que si E est infini, “de nombreux états ont un grand temps de
retour”, c’est-à-dire que pour chaque M > 0, il y a une infinité de x ∈ E tels
que Ex (Tx ) ≥ M . (En lien avec π(x) = Ex (Tx )−1 , ce sont les états les “moins
probables” qui ont les plus grands temps de retour).
39
Exercice 29 (Moteur de recherche). Le concepteur d’un moteur de recherches
souhaite classer les pages internet du web W (au nombre de N ) dans l’ordre
d’importance, afin qu’après une requête les pages les plus importantes arrivent
en premier.
Il s’agit donc de définir la notion d’importance. On note x → y si une page x
pointe vers une page y, et on appelle crédit accordé par une page x à une page
y la valeur
1x→y
cx→y =
#liens dans la page x
On décide qu’on appellera “importance” une grandeur Ix qui vérifie
X
Iy = cx→y Ix ,
x→y
autrement dit l’importance d’une page est la somme des importances des pages
qui pointent vers elle, pondérées par le crédit que chacune de ces pages apporte
à y.
On suppose qu’il existe toujours une suite de liens qui mène d’une page vers
une autre.
1. Montrer qu’il existe bien une telle grandeur Ix , x ∈ W , et l’écrire comme
la distribution stationnaire d’une chaîne de Markov .
2. Donner un exemple (simpliste) ou cette chaîne est périodique. Montrer
que si une des pages pointe vers elle-même, alors la chaîne est apériodique.
L’hypothèse d’apériodicité est donc plausible...Donnez un autre exemple simple
où la chaine est apériodique.
3. Un surfeur surfe le web en cliquant au hasard sur les liens de chaque page.
On suppose que n pages x1 , . . . , xn ont chacune un unique lien qui pointe vers
une page y. Montrer que
1 X 1
(1)
= (1)
.
Ey (Ty ) i Exi (Txi )
En quoi cela justifie-t-il dans ce cas particulier l’assertion que une page importante
sera visitée plus souvent qu’une page moins importante ? (on suppose la chaine
apériodique).
Démonstration. 1. La chaine est irréductible finie, donc récurrente positive,

donc il existe une distribution invariante. On pose I = π et c’est bon.
2. Soit x ∈ E qui pointe vers lui-même.Le PGCD des temps de retour en x
est donc 1.
3. La chaine est IRPA, donc d’après le théorème , π(x) = 1(1) . Comme la
ETx
mesure est invariante,
X
π(x) = π(y)Q(y, x).
y→x
Q(y, x) = 1 car le lien est unique, ce qui prouve la relation demandée.
40
Exercice 30. Soit X une chaîne de Markov à espace d’états E fini, avec des
classes récurrentes R1 , R2 , R3 , . . . et des classes transientes T1 , T2 , T3 , . . . .
1. Montrer que toute mesure invariante µ vérifie µ(Ti ) = 0 pour tout i.
2. Comme les classes récurrentes sont fermées (on ne peut pas passer d’une
classe récurrente à une autre classe), on peut considérer la chaîne de Markov
sur chaque classe séparément. On note µi une mesure invariante pour la classe
Ri .
Pour tout i, soit λi ≥ 0 un nombre positif. Montrer que

(
λi µi (x) si i ∈ Ri ,
µ(x) =
0 si x ∈ Tj pour un certain j,
est une mesure invariante.
3. Montrer que toute mesure invariante peut s’écrire de cette manière.
4. En déduire qu’il peut y avoir plusieurs distributions invariantes.
4.2 Théorème ergodique

Bilan :
— Quelconque : On divise entre classes récurrentes et transientes. Une me-
sure invariante vaut 0 sur les points transients.
— Irréductible récurrente (ou LA classe récurrente d’une chaine irréduc-
tible) : Il existe une mesure invariante.
— Irréductible récurrente positive : Il existe une distribution invariante π.
— Irréductible récurrente positive apériodique : Xn converge en loi vers π
ET théorème ergodique (voir après).
Le théorème 9 nous dit que si X est une chaîne IRPA la loi de Xn converge
vers la distribution invariante π,
L
Xn → π.
En revanche, pour chaque trajectoire, Xn ne converge pas car il ne cesse de
sauter d’un état à l’autre. On peut par contre dire que p.s. Xn converge en
moyenne en un certain sens (rappelons-nous que Xn n’est pas forcément un
nombre...)
Le théorème de convergence en moyenne p.s. par excellence est la loi des
grands nombres :
Théorème 10 (LGN). Soit (Vn )n des variables IID positives. Alors p.s.
n
1X
Vk → E(V1 ).
n
k=1
Rappel : Convergence de Césaro.

Soit (Un )n>1 une suite. On appelle moyenne (de Césaro) de Un la suite
U1 + · · · + Un
Mn = .
n
41
Théorème 11. Si Un → l, alors Mn → l.
Par contre la réciproque est fausse. Par exemple, la suite Un = (−1)n
converge en moyenne vers 0, alors que Un ne converge pas. La théorème er-
godique est un résultat de convergence en moyenne, plus faible que le résultat
de convergence à l’équilibre (par contre, il demande moins d’hypothèses).
Pour les chaines de Markov on a le même phénomène :
Théorème 12 (Théorème ergodique). Soit X une chaîne de Markov irréduc-
tible de distribution initiale une probabilité µ0 . Pour n ≥ 1, on note Vx (n) le
nombre de visites en x avant le temps n
n
X
Vx (n) = 1Xk =x .
k=1
Alors pour tout état x ∈ E p.s.

n
1 1X 1
Vx (n) = 1Xk =x → (1)
.
n n Ex (Tx )
k=1
Remarque 6. Comme on a pas fait d’hypothèse de récurrence, cette dernière

quantité peut être nulle.
Démonstration. Si la chaîne est transiente, le nombre de visites est p.s. fini et

Vx (n) 1
→0= (1)
n E(Tx )
p.s..
(0)
Supposons la chaîne récurrente. Supposons X0 = x, et posons Tx = 0. On
(r) (r−1)
appelle Sxr = Tx − Tx la r-ème excursion entre 2 passages en x, pour r ≥ 1.
r
On a vu que les Sx sont des variables iid d’espérance
E(Sx1 ) = E(Tx(1) ).
D’après la LGN,
(1) (2)
Ut = Sx + Sx + · · · + Sxt
→ Ex (Tx(1) )p.s. (2)
t
quand t → ∞. Comme il y a eu Vx (n) visites au temps n, on a
UVx (n) ≤ n ≤ UVx (n)+1 .
UVx (n) n UVx (n)+1 UVx (n)+1 Vx (n) + 1
≤ ≤ = ,
Vx (n) Vx (n) Vx (n) Vx (n) + 1 Vx (n)
en utilisant 2 et le fait que Vx (n) → ∞ p.s. on a
n
→ Ex (Tx(1) )p.s.
Vx (n)
42
Exercice 31. A l’aide du théorème ergodique, démontrer la proposition ci-
dessous.
Proposition 16. Soit X une chaîne de Markov irréductible récurrente positive
de loi stationnaire π.
Soit f une fonction bornée de E 7→ R. On appelle
X
f¯ = f (x)π(x)
x
la valeur moyenne de f par rapport à la mesure π.

Alors
n
1X
f (Xk ) → f¯.
n
k=1
Démonstration. : Exercice : Commencer par le cas ou E est fini.
Exercice 32. On reprend l’exercice de renouvellement des machines. On sup-

pose désormais que la casse d’une machine a un cout très élevé, noté a > 0.
L’utilisateur décide alors d’adopter la politique suivante : Il fixe un âge limite
L, et si la machine arrive à l’âge L, alors il la remplace par une nouvelle machine,
ce qui lui occasionne un cout b > 0. On suppose évidemment que b < a, sinon
cette politique est inutile.
1. Ecrire la chaîne de Markov correspondante. Etudier les mesures et proba-
bilités invariantes.
2. Montrer que le cout au temps n s’écrit
Cn = (b − a)VL (n) + aV0 (n) − a,
ou Vx (n) est le nombre de visites en x avant le temps n.

3. On note vk = p0 . . . pk−1 pour k ≥ 1. Calculer le cout limite moyen
Cn
m = lim .
n n
4. Calculer le cout moyen quand on suppose un vieillissement constant de
paramètre p ∈ (0, 1)).
4) Dans le cas d’un vieillissement constant, on a pk = p, et donc
L−1
X 1 − pL
s= pk = ,
1−p
k=0
et donc
µ(0) 1−p
π(0) = =
s 1 − pL−1
µ(L) pL−1 (1 − p)
π(L) = = ,
s 1 − pL−1
43
et donc le cout moyen est
Cn 1−p
bpL−1 + (b − a)

γ(L) = = L−1
n 1−p
44
4.3 Arithmétique et chaîne de Markov
On jette un dé à 6 faces n fois, et on appelle Xn la somme de tous les résultats
obtenus. On veut calculer
lim P(Xn est un multiple de 13).

n
1. Montrer que Xn est une chaîne de Markov. Pourquoi ne peut-on appliquer

le théorème de convergence vers l’équilibre ?
13
2. On considère Xn ∈ {0, 1, 2, . . . , 12} le reste de la division euclidienne
de Xn par 13. Montrer que c’est une chaîne de Markov irréductible ré-
currente positive apériodique. En déduire le résultat.
3. On pose Yn = 5Xn . Calculer
lim P(Yn est un multiple de 13).

n
Calculer
n
4. On considère cette fois Pn le produit de tous les résultats obtenus après

n lancers, en supposant P0 = 1.
a)Calculer
lim P(Pn est un multiple de 13)
n
lim P(Pn ≡ 1[13])

n
4
b) Etudier Yn le reste de la division euclidienne de Xn par 4. Calculer

n
Que se passe-t-il si on remplace 4 par un autre nombre ?

5. Dans toutes les situations précédentes, calculer le nombre moyen de vi-
sites à l’état désiré, c’est-à-dire
#{n : Xn est un multiple de 13/10/4...}

lim .
n n
Correction :
1. Xn n’est pas récurrente.
2. Soit deux états x, y ∈ {0, 1, 2, . . . , 12}. Supposons par exemple x < y. Si
on fait y − x 1 de suite (ce qui a une probabilité non-nulle), alors on passe
de x à y, donc Qn (x, y) > 0 pour n = y − x. Si x > y, on peut suivre
le chemin x → x + 1 → . . . 13 = 0 → 1 → · · · → y avec une probabilité
non-nulle. Donc la chaîne est irréductible. Comme l’espace d’états est
fini, elle est aussi récurrente positive.
45
Comme chaque point x à 6 antécédents x − 1, . . . , x − 6 et 6 destinations
équiprobables (x + 1, . . . , x + 6), on montre facilement que la distribution
1
uniforme π(x) = 13 est la distribution stationnaire.
Pour montrer qu’elle est apériodique, on considère x ∈ E. Comme on
peut faire six 1 de suite avec probabilité > 0, Q6 (x, x) > 0. Si on fait
un 2 puis quatre 1, on retombe sur x, et on a donc Q5 (x, x) > 0. On a
donc Qn0 (x, x) > 0 et Qn0 +1 (x, x) > 0 avec n0 = 5, et la chaîne est donc
apériodique. En utilisant le théorème de convergence à l’équilibre, on en
déduit
13 1
lim P(Xn est un multiple de 13) = lim P(Xn = 0) → π(0) = .
n n 13
3. La situation est un peu plus compliquée car on fait des sauts de 5 en 5
(modulo 13), on a le graphe suivant
0 → 5 → 10 → 15 = 2 → 7 → 12 → 17 = 4 → 9 → 14 = 1 → 6 → 11 → 16 = 3 → 8 → 0 → etc...
On peut encore aller de n’importe quel point à n’importe quel autre point
en faisant suffisamment de 1 de suite, la chaîne est donc irréductible, et
donc récurrente positive. La distribution stationnaire est encore π(x) =
1/13.
L’apériodicité se traite comme dans le cas précédent : En considérant
deux chemins allant d’un point x à lui-meme, l’un ne comportant que des
1, et l’autre comportant un 2 et que des 1, on montre que la chaîne est
apériodique. On a donc la même conclusion qu’à la question précédente.
10
Si on s’intéresse désormais à la chaîne Xn , la situation n’est pas la
même. On ne peut effectuer que des transitions du type
0 → 5 → 10 = 0 → 5 → 10...
Donc Xn ∈ {0, 5} tout le temps. Si on est en 0 et qu’on fait 2, 4 ou 6,

on reste en 0, autrement on reste en 5. La chaîne a donc la matrice de
transition
1/2 1/2
1/2 1/2
et la distribution invariante (1/2, 1/2).
4. a) Regardons cette fois ce qui se passe si on ne fait que des 2.
1 → 2 → 4 → 8 → 16 = 3 → 6 → 12 → 24 = 11 → 22 = 9 → 18 = 5 → 10 → 20 = 7 → 14 = 1
On ne passera jamais par 0 ! Donc P(Xn est un multiple de 13) = 0 →

0... A part 0, on peut passer par tous les états, donc la chaîne est IRP.
Elle est aussi apériodique pour des raisons similaires aux questions pré-
cédentes car un chemin 2, 2, 2, ... peut être raccourci d’une longueur en
faisant 4, 2, 2, ...
46
La distribution stationnaire est encore π(x) = 1/12, et on a pour 1 comme
pour un autre état non-nul
1
P(Xn = 1[13]) → .
12
b) Cette fois on considère la valeur de Yn modulo 4. On a
0→0
1 → 1, 2, 3, 0
2 → 2, 0
3 → 3, 2, 0.
Donc {0} est une classe récurrente, et comme tout autre état mène à 0,
les autres états sont transients. On en déduit que la chaîne passera par
0 et qu’elle y restera constamment, donc
lim Pn (Xn = 0[4]) = 1.
n
La différence avec 13 est la suivante : Si Xn = 13, cela signifie qu’on a

pu multiplier les lancés successifs L1 , L2 , . . . pour obtenir 13 :
13 = D1 D2 ...Dn .
Ceci dit, comme la seule décomposition de 13 en nombres premiers est
13 = 1 × 13,
cela veut dire qu’un des lancés est égal à 13, ce qui est impossible.
On peut en déduire de la même manière que tout nombre k pour lequel un
nombre premier différent de {1, 2, 3, 4, 5, 6} apparait dans sa composition
vérifiera
P(Xn = 0[k]) → 0.
Si par contre k peut s’écrire
k = p1 p2 ...pq
avec pq ∈ {0, 1, 2, . . . , 6}, ce n’est qu’une question de temps avant que la
chaîne n’effectue la séquence
p1 , p2 , ..., pq
ce qui implique que k sera inéluctablement un facteur de Xn pour un n
suffisamment large, et donc
lim P(Xn = 0[k]) → 1.
5. Le théorème ergodique s’applique à toute chaîne irréductible. Pour les
questions 1→ 5.b), on a donc
... → π(x)
1 1 1 1
qui vaut selon les questions 13 , 10 , 2 , 12 ou 1.
47
4.4 Marche aléatoire sur un graphe.
On appelle graphe un ensemble de points E, et un ensemble d’arêtes A qui
à chaque paire de points x, y associe a(x, y) qui vaut 0 ou 1. Si a(x, y) = 1, on
dit que x et y sont connectés, ou voisins, et on note x ∼ y. On appelle degré de
x et on note d(x) le nombre de voisins de x.
On considère la chaîne de Markov Xn qui se déplace aléatoirement en sautant
d’un point à un autre, sachant que :
1. D’un point x, on ne peut aller que sur un voisin de x,
2. Tous les voisins de x ont la même probabilité d’être choisis.
1. Introduction. Donner une expression de Q(x, y), la matrice de transition.
2. Irréductibilité.
On dit que deux points x et y sont reliés dans le graphe si il existe une suite
de points x0 = x, x1 , . . . , xk = y tels que xi ∼ xi+1 . On dit que le graphe est
connexe si tous les points sont reliés.
Donner un exemple de graphe qui n’est pas connexe. Donner une condition
nécessaire et suffisante pour que la chaîne soit irréductible.
On suppose dans la suite que le graphe est connexe.
3. récurrence.
a) On suppose que E est fini. Montrer que la chaîne est irréductible récur-
rente positive.
b) Donner des exemples de graphes ou la chaîne est récurrente mais pas
récurrente positive, et ou la chaîne de Markov n’est même pas récurrente. (On
pourra utiliser les résultats sur la marche aléatoire dans Zd ).
Calculer d(x) pour la marche aléatoire symétrique sur Zd . 4. mesures in-
variantes On définit la mesure suivante sur le graphe :
µ(x) = d(x).
a) Montrer que µ est une mesure réversible.

b) On suppose que E est fini. Donner une distribution invariante de la chaîne
de Markov. En existe-t-il d’autres ?
c) On suppose le graphe fini et connexe. Donner l’espérance du temps de
retour en un point x.
d) On suppose dans cette question que le graphe est fini, mais plus qu’il est
connexe. Peut-il exister plusieurs mesures invariantes ? Donner la forme générale
de toutes les mesures invariantes.
5. Mesure d’occupation
a) Donner un exemple de graphe non-apériodique.
b) On considère le graphe suivant : ... A votre avis, la chaîne va-t-elle passer
plus de temps en x ou en y ? Le graphe est-il apériodique ?
c) On suppose le graphe apériodique. Soit x un point du graphe. Montrer
que, quelle que soit la distribution initiale,
d(x)
P(Xn = x) → .
2#A
48
En déduire la vraie réponse à la question b).
6. Théorème ergodique. Déterminer le temps moyen passé par la chaîne
en un point x.
7. Application aux échecs.
a) On considère une tour que l’on déplace aléatoirement sur un échiquier
(8x8 cases). Chacune des cases qui lui sont accessibles ont même probabilité à
chaque coup. On rappelle qu’une tour ne peut faire qu’un mouvement horizontal
ou vertical à chaque coup. Quel est le temps moyen de retour au point de départ ?
(en fonction du point de départ ?). Quelle est la période ?
b) même question pour un cavalier (mouvements autorisés : 2 cases dans une
direction puis 1 case dans l’autre direction).
c) même question pour un fou (mouvement uniquement diagonaux).
correction : 1.
1xvoisin de y
Q(x, y) = .
d(x)
2. La chaîne est irréductible si pour tous points x, y il existe des états x1 =
x, . . . , xq = y tels que chaque transition Q(xi , xi+1 ) soit > 0, c’est-à-dire si le
graphe est connexe.
3.a) Toute chaîne de Markov irréductible finie est récurrente positive.
b)On a vu dans l’exo correspondant que la marche aléatoire sur Z2 était
récurrente, mais pas récurrente positive. La marche aléatoire sur Zd , d ≥ 3 n’est
même pas récurrente. Pourtant ces chaîne de Markov ont bien une structure de
graphe, les voisins d’un point x étant tous les points reliés à x dans la grille Zd
(on a d’ailleurs dans ce cas d(x) = 2d).
4. a) Soit x, y. On a
1x∼y
µ(x)Q(x, y) = d(x) = 1x∼y = µ(y)Q(y, x),
d(x)
donc la mesure est réversible.
b) Comme la chaîne est IRP il existe une unique distribution stationnaire π.
Comme µ est réversible, elle est invariante, et comme elle a une masse finie et
est invariante, on a
µ(x)
π(x) = .
µ(E)
On a X X X
µ(E) = µ(x) = d(x) = 1x∼y = 2#A,
x∈E x∈E x∈E,y∈E
le facteur 2 dans la somme précédente venant du fait que chaque couple (x, y)
est compté 2 fois ((x, y) et (y, x)).
On a donc
d(x)
π(x) = .
2#A
d) Supposons que E soit l’union disjointe de sous-ensembles E1 , E2 , . . . ,
chaque sous-ensemble Ei étant connexe pour la structure d’arêtes A. Sur chaque
49
Ei , on note πi l’unique distribution invariante correspondante, donnée d’après
c) par
d(x)
πi (x) = , x ∈ Ei ,
#Ai
Ai étant le nombre d’arêtes impliquant des points de Ei .
Soit α1 , α2 , . . . des nombres positifs tels que
X
αi = 1.
i
On pose n
π(x) = αi πi (x) si x ∈ Ei .
π est une mesure, et c’est une mesure de probabilités car

X X X
µ(E) = µ(Ei ) = αi πi (Ei ) = αi = 1.
i i i
Montrons que π est stationnaire.

XX
Pπ (X1 = x) = P(X0 = x)Px (X1 = x)
i x∈Ei
X X
= αi ( πi (x)Px (X1 = x))
i x∈Ei
X
= αi πi (x) = π(x)
i
ou à l’avant-dernière ligne on a utilisé le fait que πi est stationnaire pour la

restriction de la chaîne à Ei .
On remarque en particulier qu’il y a une infinités de distributions invariantes.
Supposons pour la réciproque que π soit une distribution invariante. On

appelle toujours πi l’unique distribution invariante sur Ei .
On pose αi = π(Ei ) = P(X0 ∈ Ei ) si X0 a probabilité π. Si αi 6= 0 on
considère la chaîne X (i) définie comme X conditionnée par le fait que X0 ∈ Ei .
C’est une chaîne de Markov à valeurs dans Ei . Sa distribution initiale est, pour
x ∈ Ei ,
(i) P(X0 = x) π(x)

P(X0 = x) = P(X0 = x|X0 ∈ Ei ) = = .
P(X0 ∈ Ei ) αi
(i)
La distribution de X1 est, pour x ∈ Ei ,
(i) Pπ (X1 = x, X0 ∈ Ei ) Pπ (X1 = x) π(x)

P(X1 = x) = == =
P(X0 ∈ Ei ) P(X0 ∈ Ei ) αi
50
car π est invariante pour X. La troisième inégalité provient du fait que si X1 ∈
Ei , comme les Ei sont non-connectés, alors X0 est aussi nécessairement dans
Ei . On en déduit que απi est une distribution stationnaire pour X (i) , elle est
donc égale à l’unique distribution stationnaire πi sur Ei . On a donc
π(x) = αi πi (x), x ∈ Ei
(le cas αi = 0 se traite aisément). On a de plus

X XX X
1= π(x) = αi πi (x) = αi .
x i x∈Ei i
On a donc montré que toute distribution invariante s’écrivait sous cette

forme.
5.c) Il faut appliquer le théorème de convergence à l’équilibre, la chaîne étant
IRPA.
6)La chaîne étant irréductible, on a
Vn (x) d(x)
→ π(x) = .
x 2#A
7)a) Chaque case de l’échiquier est connectée avec 7 autres cases horizonta-
lement, et 7 autres cases verticalement. On a donc pour tout x d(x) = 14. La
chaîne est irréductible (la tour peut aller n’importe ou en 2 coups), et donc IRP.
La distribution invariante est
d(x) 14 1
π(x) = P = = ,
x∈E 64 ∗ 14 64
c’est la distribution uniforme.

On a donc pour tout x
1
Ex (Tx(1) ) = = 64.
π(x)
Comme la tour peut aller n’importe ou en n0 = 2 ou n0 + 1 = 3 coups, la
chaîne est apériodique (on peut donc appliquer le théorème de convergence à
l’équilibre.)
b)Cette fois, les cases n’ont pas toutes le même nombre de voisins. Les cases
situées à au moins 2 cases du bord, de type 1, au nombre de n1 =4x4=16, ont
chacune v1 = 8 voisins.
Les cases situés à une case d’un bord et au moins 2 cases d’un autre, de type
2, au nombre de n2 =16, ont chacune v2 = 6 voisins.
Les cases situées sur un bord, et à au moins 2 cases d’un autre bord, de type
3, au nombre de n3 =16, ont chacune v3 = 4 voisins.
Les cases situées en diagonale d’u coin, c’est-à-dire B2 et symétriques, au
nombre de n4 =4, de type 5, ont chacune v4 = 4 voisins.
Les cases à une case du coin, c’est-à-dire A2, B1 et symétriques, de type 5,
au nombre de n5 =8, ont chacune v5 = 3 voisins.
51
P de type 6, au nombre de n6 = 4, ont chacun v6 = 2 voisins.
Enfin les coins,
On a bien i ni =16+16+16+4+8+4=64 cases.
Pour calculer la distribution de retour, il faut connaître le nombre total
d’arêtes,
X 1X 1 16
d(x) = ni vi = (16(8+6+4)+4∗4+8∗3+4∗2) = (19+2) = 8∗21 = 168.
x
2 i 2 2
Le temps de retour en partant d’une case x qui est de type i est donc
vi
Ex (Tx(1) ) = .
168
Nous allons montrer que la période est de 2. Etant donné une case x sur la
i-ème ligne et la j-ème colonne, on pose
nx = i + j[2] ∈ {0, 1}.
Si l’on bouge le cheval d’une case x = (i, j) à une case y = (i0 , j 0 ), on a
nx − ny = i − i0 + j − j 0 = 2 + 1 = 1[2].
Donc si Xn est la position de la chaîne de Markov la suite nXn effectue ...0 →

1 → 0 → 1 → 0 → .... Il est donc impossible pour Xn de revenir sur ses pas en
un nombre impair de coups (si on part à nX0 = 0, pour n impair on a nXn = 1
donc Xn 6= X0 ). La période est donc un multiple de 2.
On peut montrer avec un dessin qu’on peut revenir sur ses pas en n0 = 4 ou
n0 + 2 = 6 coups. La période est donc au maximum de 2. On en déduit que la
période est de 2.
c) Concernant le fou, il faut tout d’abord noter que la chaine n’est pas
irréductible (le fou reste soit sur les cases noires, soit sur les cases blanches). Il
faut donc étudier la chaine au sein des 2 classes irréductibles. Il faut compter
tous les cas comme dans le cas du cavalier pour obtenir les temps de retour.
Comme pour la tour, la chaine est apériodique.
5 Chaines de Markov et simulation

Etant donné une probabilité π, le but de cette section est de proposer des
méthodes algorithmiques pour simuler π, c’est-à-dire construire une variable
aléatoire de loi π, ou proche de π.
L’idée principale est de construire une chaîne de Markov IRPA, de partir
d’un état initial arbitraire, et de laisser évoluer la chaine un grand nombre
d’itérations (et d’utiliser le théorème de convergence à l’équilibre).
5.1 Algorithme Hit-and-run

Exercice 33 (Simulation de la loi uniforme, Hit-and-Run Algorithm). Soit A
un sous-ensemble mesurable de Rd tel que λ(A) > 0, où λ est la mesure de
52
Lebesgue d-dimensionnelle. On rappelle qu’une variable uniforme sur A a la loi
λ(dx)
µA (dx) = .
λ(A)
Pour certains ensembles A, les méthodes accept-or-reject sont très peu efficaces,
typiquement lorsque A est très “mince”, ou que la dimension d est très grande.
Les chaines de Markov peuvent fournir une alternative.
Pour simplifier et parce qu’on travaille dans un cadre discret, on suppose ici
que A est un sous-ensemble fini de Z2 . On suppose de plus que A est connexe,
où un point est relié à un autre ssi ils sont reliés par une arête de Z2 .
On considère la suite de variables aléatoires au comportement suivant :
— X0 ∈ A.
— A chaque temps n, on choisit avec probabilité 1/2 la ligne sur laquelle se
situe Xn ou la colonne sur laquelle se situe Xn .
— On tire uniformément Xn+1 ∈ A sur cette ligne ou cette colonne.
1. Identifier la matrice de transition Q et les propriétés de la chaîne de
Markov .
2. Montrer que la distribution uniforme sur A est invariante.
3. En déduire une manière de simuler approximativement une variable uni-
forme sur A. Quelle convergence a-t-on ?
4. Comment pourrait-on généraliser cette méthode dans le cadre continu
(informel) ?
5.2 Algorithme de Metropolis

Etant donné une mesure de probabilité π sur un espace E, le but de l’algo-
rithme de Metropolis est de construire une chaine de Markov X = (Xn ) telle
que la loi de Xn converge vers π,
L
Xn → π.
On suppose sans perte de généralité que π(x) > 0 sur E (autrement il suffit
d’ôter de E les points où π s’annule). Une manière pour approximer π de cette
manière est de trouver une matrice stochastique Q(x, y) telle que la chaine de
Markov correspondante soit IRPA et π est invariante pour Q. L’algorithme de
Metropolis consiste en les étapes suivantes :
— Construire matrice de transition P (x, y) quelconque telle que la chaîne
de Markov correspondante qui vit dans le bon espace d’états E soit ir-
réductible apériodique. Il faut de plus que P soit symétrique : P (x, y) =
P (y, x). Pour le bon fonctionnement de l’algorithme de simulation, il faut
que la chaine de Markov correspondante soit facile à simuler, c’est-à-dire
que la loi P (x, ·) doit être facile à calculer.
— Tirer X1 suivant une loi quelconque µ (typiquement µ = δx pour une
certaine configuration x ∈ E)
53
— Pour chaque n, tirer Yn+1 suivant la loi P (Xn , ·) (c’est-à-dire tirer Yn+1
comme si (Xn , Yn+1 , . . . ) était une chaîne de Markov de matrice de tran-
sition P (x, y))
— Tirer Un une variable de loi uniforme sur [0, 1] indépendamment de (Xn )
et (Yn ).
— Si π(Yn+1 )/π(Xn ) > Un , poser Xn+1 = Yn+1
— Sinon, garder Xn+1 = Xn .
En d’autre termes, on fait évoluer X = (Xn ) comme une chaîne de Markov
normale de matrice de transition P , à la différence qu’à chaque itération on
ne garde la nouvelle valeur Xn+1 que si le nouveau ratio π(Xn+1 )/π(Xn ) est
suffisamment élevé, autrement on laisse l’ancienne valeur Xn+1 = Xn .
Exercice 34. Pourquoi (Xn ) est une chaîne de Markov (homogène) ? Quelle est
sa matrice de transition ? Montrer qu’elle est irréductible et réversible. Qu’en
déduisez-vous sur la limite de Xn ? Par quel type plus général de condition
peut-on remplacer
π(Yn+1 )
Un ≤ ?
π(Xn )
Barker a proposé la condition
π(Yn+1 )
Un ≤
π(Xn ) + π(Yn+1 )
Exercice 35. Proposer une chaine de Markov pour approximer une variable de
Poisson de paramètre θ > 0. Quelle est la matrice de transition correspondante
si l’on utilise la règle de Barker ?
Exercice 36 (Simulation d’un processus de répulsion). On lance n particules

chargées positivement dans [0, 1]2 , que l’on approxime par
2
1
X = {(k/N, j/N ); 0 ≤ k, j ≤ N } = Z ∩ [0, 1]2 .
N
Une étude des propriétés électromagnétiques du système permet de montrer que

la probabilité d’une configuration (x1 , . . . , xn ) ∈ X n est proportionnelle à
Y
kxi − xj k.
1≤i<j≤n
Proposer une procédure informatique pour simuler informatiquement approxi-

mativement ce processus, en se basant sur l’algorithme de Metropolis.
54
6 Chaînes de Markov en temps continu, proces-
sus de Poisson
6.1 Lois sans mémoire
On s’intéresse a la file d’attente qui se forme a l’entrée d’un bureau de
Poste. Comme vu précédemment, le nombre de personnes présents dans la file
après n évènements (évènement=une personne part ou une personne arrive) est
une chaîne de Markov homogène. Les clients arrivent cependant a des temps
aléatoires, on peut donc se demander : Au temps t, quel est le nombre Z(t) de
clients ayant franchi la porte d’entrée, où t est un nombre réel positif ?
Pour cela il faut modéliser le temps aléatoire entre deux évènements. A priori,
on peut choisir ce qu’on veut, mais la réalité nous impose un certain modèle.
Faisons les hypothèses suivantes :
— Les temps qui s’écoulent entre les évènements sont des variables aléatoires
IID.
— Le temps T qui s’écoule entre deux évènement satisfait au principe sui-
vant : Si après une durée t > 0, il ne s’est toujours rien passé, la probabi-
lité qu’il se passe quelque chose dans la prochaine minute (ou n’importe
quelle durée) est la même probabilité qu’il ne se passe rien dans la pre-
mière minute d’attente.
Comment modéliser la seconde propriété ?
Pour t, s > 0,
P(T ∈ [t, t + s])|T > t) = P(T ∈ [0, s]).
Cette propriété caractérise ce qu’on appelle les lois sans mémoire, et il y a

peu de solutions.
Exercice 37. Les seules variables aléatoires sans mémoire sont les variables
exponentielles, c’est-a-dire avec fonction de distribution
P(T > t) = exp(−λt), t > 0,
où λ > 0 est le paramètre de la loi.

Toute la liberté de choix que l’on a est donc de choisir le paramètre λ >
0, qu’on appelle intensité de la file d’attente, et qui représente la fréquence
moyenne d’arrivée des clients.
55
6.2 Processus de Poisson
Le processus décrit précédemment est appelé le processus de Poisson. For-
mellement, on le définit ainsi :
— Soit λ > 0.
— Soit Ti , i > 1, une famille de variables aléatoires IID exponentielles de
paramètre P λ.
n
— Soit Sn = k=1 Tk , n > 0 (avec S0 = 0),
— Pour t > 0, on pose
∞
X
X(t) = max{n : Sn 6 t} = min{n : Sn+1 > t} = 1{Sk 6t} .
k=1
Ce processus possède la propriété de Markov continue :
∀n > 1, 0 < t1 < t2 < · · · < tn , x1 ∈ N, . . . , xn ∈ N,

P(Xtn = mn |Xt1 = x1 , . . . , Xtn−1 = xn−1 ) = P(Xtn = mn |Xtn−1 = xn−1 )
Au lieu de matrice de transition, on parle pour le processus Xt de noyau de

transition Qt (x, y), t > 0, x, y ∈ N,
Qt (x, y) = P(Xt = y|X0 = x).
Proposition 17. Pour t > 0, soit Nt une variable de Poisson de paramètre λt.
Pour le processus de Poisson,
Qt (x, y) = P(Nt = y − x), t > 0, x 6 y ∈ N.
Exercice 38. :Preuve ! On remarque que P(Xt = k) = P(T1 + · · · + Tk 6

t, T1 + · · · + Tk+1 > t)
1. Ecrire la densité fk+1 (t1 , . . . , tk+1 ) de (T1 , . . . , Tk+1 )
2. Calculer

E 1{T1 +···+Tk 6t} P(Tk+1 > t − (T1 + · · · + Tk )|T1 , . . . , Tk )
et en déduire le résultat.
Proposition 18. On déduit de l’exercice précédent le résultat suivant : Le pro-

cessus de Poisson est à accroissements stationnaires, c’est-à-dire
(d)
∀t1 , t2 , s > 0, Xt1 +s − Xt1 = Xt2 +s − Xt2 .
56
6.3 Générateur infinitésimal
Plutôt que la matrice de transition, avec un processus de Markov Xt en temps
continu, on préfère travailler avec le générateur infinitésimal du processus, défini
de la manière suivante : Soit f une fonction bornée et dérivable. On pose
E [f (Xt+ε ) − f (Xt )]
Lf (x) = lim
ε→0 ε
en supposant que la limite existe. Remarquons que si le processus est homogène,
la limite ne dépend pas de t.
Si de plus le processus est à accroissements stationnaires, comme c’est le
cas pour le processus de Poisson, cet opérateur ne dépend pas de t : En effet,
(d)
Xt+ε − Xε = Xε − X0 pour tous t, ε > 0.
Dans ce cas, l’opérateur L transforme une fonction en une autre fonction,
qui dénote la manière dont f (Xt ) varie au voisinage de 0 si X0 = x.
Dans le cas Poissonien, Xε − X0 est une variable de Poisson de paramètre
λε. Pour ε petit, on a
P(Xε = 0) = exp(−ελ),
λε
P(Xε = 1) = exp(−ελ)
1!
∞ −λε ∞ ∞
X e X 1 X λk
P(Xε > 2) = (λε)k 6 (λε)k+2 6 ε2 .
k! (k + 2)! (k + 2)!
k=2 k=0 k=0
| {z }
<∞
Donc
E[f (Xε ) − f (X0 )|X0 = x] = (f (x + 0) − f (x)) ∗ exp(−λε) + (f (x + 1) − f (x))λε exp(−λε) + 2kf k∞ o(ε)
Lf (x) = λ(f (x + 1) − f (x))
— On dit que Xt est un processus de sauts, car il ne peut varier que par
discontinuités.
— Dans ce cas, Xt est un processus de saut à taux constant λ : λ est
l’intensité avec laquelle le processus saute, sous-entendu la répartition
des sauts est Poissonnienne, c’est-à-dire que les sauts sont séparés par
des variables exponentielles IID.
6.4 Processus de Poisson composé

Modifions le modèle précédent de la manière suivante. Chaque personne qui
arrive à la poste va soit retirer, soit déposer de l’argent. Comme les compor-
tements des clients sont à priori indépendants entre eux, et que de l’extérieur,
sans plus d’hypothèse, tous les clients sont “identiques” (i.e. ils ont tous la même
probabilité d’emprunter/de retirer une certaine somme d’argent), on modélise
l’argent total apporté à la banque de la manière suivante.
57
On introduit une loi de probabilité µ sur R, qui représente la variable aléa-
toire de la quantité d’argent déposée par un client.
Par exemple, si un client a une probabilité 1/2 de retirer de l’argent, cela
nous donne µ(] − ∞, 0[) = 12 , et µ(]0, ∞[) = 21 . On suppose qu’il n’y a pas de
client qui vient pour ne rien faire (ou plutôt, on ne les comptabilise pas).
Pour modéliser la quantité d’argent déposée à un instant t > 0, on intro-
duit une suite de variables iid Yk , k > 1, indépendants de µt , avec comme loi
commune µ, et on suppose que le i-ème client a apporté une quantité d’argent
Yk ∈ R.
En appelant Xt le processus de Poisson défini au chapitre précédent (avec
paramètre d’intensité λ > 0), la quantité d’argent déposée à l’instant t est donc
∞
X
Zt = Yk 1{Xt >k} ,
k=1
en gros, on comptabilise les sommes de tous les clients qui sont effectivement
déjà passés à l’instant t.
En utilisant le fait que Xt est une variable de Poisson de paramètre λt, et
que les Yi sont IID de loi µ, on peut déterminer la loi de Zt , via la fonction
caractéristique.
Rappel sur les fonctions caractéristiques Pour toute variable aléatoire
Y ∈ R, on introduit sa fonction caractéristique (ou transformée de Fourier)
Z
ψY (θ) = E[exp(iθY )] = eiθy µ(dy),
R
où µ est la loi de Y . Cette fonction possède de nombreuses propriétés, comme

par exemple
— ψY (0) = 1
— |ψY (θ)| 6 1
(d)
— ψY caractérise la loi de Y , dans le sens où ψY = ψY 0 implique Y = Y 0 .
Donc, déterminer la loi de Y revient à déterminer sa fonction caractéristique.
De plus, si E[|Y |] < ∞, on peut calculer l’espérance de Y avec sa fonction
caractéristique
d
E[Y ] = −iψY0 (0) = −i |θ=0 ψY (θ).
dθ
Si E[Y 2 ] < ∞, on peut calculer son moment d’ordre 2,
d2
E[Y 2 ] = −ψY00 (0) = − |θ=0 ψY (θ).
dθ2
Théorème 13. Avec les notations précédentes, pour t > 0, la fonction caracté-
ristique de Zt est
ψZt (θ) = exp (λt (ψY1 (θ) − 1)) , θ ∈ R.
58
Démonstration.
∞ ∞
" ! #
X X
E[exp(iθZt )] = P(Xt = n)E exp iθ 1{Xt 6k} Yk |Xt = n
n=0 k=1
∞
" n
!#
n
X (λt) X
= e−λt E exp iθ Yk
n=0
n!
k=1
∞
X (λt)n
= e−λt E[exp(iθY1 )]n grâce à l’indépendance entre les Yk
n=0
n!
= e−λt exp(λtE[exp(iθY1 )])
Cela nous permet par exemple de déterminer les premiers moments de Zt :

 
d 0
EZt = −i |θ=0 ψZt (θ) = −iλtψY1 (0) exp λt(ψY1 (0) −1) = λtE[Y1 ]
dθ | {z }
=1
2
d
EZt2 = − 2 |t=0 ψZt (θ) = − exp (...) λtψY001 (0) + (λtψY0 1 (0))2 = (λtEY12 + λ2 t2 (EY1 )2 )

dt
Du coup, la variance est
Var(Zt ) = E[Zt2 ] − (EZt )2 = λtEY12 .
Exercice 39. Quel est le générateur infinitésimal du processus Zt ?

Le GI de Zt est
Lf (x) = λE[f (x + Y1 ) − f (x)].
Exercice 40. Supposons que la quantité d’argent déposée par chaque client
soit le produit de 10 par une variable de Poisson de paramètre 2. Déterminer la
fonction caractéristique, l’espérance, et la variance, de Zt pour t > 0.
7 Modèles de Markov cachés

On considère le modèles biologique suivant. Un brin d’ADN est une séquence
de lettres parmi {A, C, G, T }. Parmi la succession de séquences d’ADN, certaines
sont codantes, et d’autres sont non-codantes. Un des enjeux des généticiens est
de distinguer ces deux types de séquences, afin de mieux comprendre l’inter-
dépendance entre les différentes séquences génétiques (codantes) du génome.
L’hypothèse de base pour y parvenir est que la fréquence d’apparitions des
différentes nucléotides diffère selon que l’on se trouve sur un brin codant ou
non-codant.
59
On propose dans ce chapitre le modèle simplifié suivant : Chaque nucléotide
est représentée par un couple (s, y), où s ∈ I = {1 (codant) , −1 (non-codant)},
et y ∈ A = {A, C, G, T }. La séquence de nucléotides est une suite de variables
aléatoires Xk = (Sk , Yk )k≥1 . On suppose qu’à chaque transition k → k + 1 la
probabilité de passer d’une séquence codante à une séquence non-codante est
ε > 0 et la probabilité de passer d’une séquence non-codante à une séquence
codante est ε0 > 0. La loi de Yk ne dépend que de la valeur de Sk . On appelle
µ+ la loi de Yk si Sk = 1, et µ− la loi de Yk si S− = {−}.
On observe uniquement les variables Yk . Le problème biologique est le sui-
vant :
— Identifier les parties codantes.
— Estimer les paramètres ε, ε0 , µ+ , µ− .
Schéma :
Exercice 41. 1. Ecrire la matrice de transition de Sk . La suite (Yk )k est-
elle une chaîne de Markov ? La suite (Sk , Yk )k est-elle une chaîne de
Markov ? Ecrire la matrice de transition correspondante.
2. En vue d’estimer le paramètre θ = (ε, ε0 , µ− , µ+ ), définir l’espace des
paramètres Θ.
7.1 Estimation par maximum de vraisemblance

On rappelle le principe de l’estimateur de maximum de vraisemblance dans
un problème statistique, via un exemple. Un joueur possède une pièce de mon-
naie biaisée dont la probabilité de faire pile est θ0 ∈ [0, 1]. Après 10 lancers, il a
obtenu 4 pile. Intuitivement, la meilleure estimation de θ0 que l’on puisse avoir
à ce stade est θ̂10 = 4/10. De manière générale, en comptant Xn = 1 pour pile
au n-ème lancer et Xn = 0 autrement, on a
N
1 X
θ̂N := Xk → θ p.s.
N
k=1
d’après la loi des grands nombres, où N est le nombre de lancers observés. On

a de plus
1
√ (θ̂N − θ) → N
N
où N est une variable gaussienne (théorème central limite). L’estimateur θ̂N est
en fait ce qu’on appelle un estimateur par maximum de vraisemblance. En appe-
lant Θ = {θ possibles} = [0, 1], θ̂N est la valeur qui maximise la vraisemblance,
définie par
µN (X, θ) = P( observer la séquence X sachant que θ0 = θ).
Autrement dit,
µN (X, θ̂N ) ≥ µN (X, θ)
60
pour tout θ ∈ Θ. Dans notre cas,
N
(
Y θ si Xk = 1 P P
µN (X, θ) = =θ Xk
(1 − θ)N − Xk
k=1
1 − θ si Xk = 0
Il est utile en pratique d’observer que, comme la fonction log est monotone,
trouver le maximum de la fonction θ 7→ p(x, θ) est pareil à trouver le maximum
de la fonction θ 7→ L(x, θ) := log(p(x, θ)). Dans notre cas,
X X
L(X, θ) = Xk log(θ) + (N − Xk ) log(1 − θ).
k
Si l’on dérive par rapport à θ, on a

P P
∂L Xk Xk
= − ,
∂θ θ 1−θ
et le maximum s’annule pour
P
θ X m
= Pk =
1−θ N − Xk 1−m
où m = N1
P
Xk , on en déduit que la dérivée s’annule pour θ = m. Une rapide
étude nous montre que le maximum est en effet atteint en m, ce qui nous indique
que dans ce cas l’EMV est bien l’estimateur
EM V 1 X
θ̂N := m = Xk = θ̂N
N
proposé naturellement.
Exercice 42. Soit X1 , . . . , XN N variables iid de Poisson de paramètre λ > 0.
1. Ecrire L(X, λ) la log-vraisemblance.
2. Dériver par rapport à λ.
3. Déterminer λ̂EM
N
V
. Que remarquez-vous ?
7.2 Algorithme EM
Nous allons tenter d’applique l’EMV pour estimer les paramètres du MMC.
On appelle µ0 la loi de S0 . Commençons par calculer la vraisemblance. Soit
θ ∈ Θ, et soit une observation
x = ((s1 , y1 ), . . . , (sN , yN ))
où si ∈ I = {1, −1}, yi ∈ A = {A, B, C, D}. On a
pN (x, θ) = µ0 (s0 )Q(s0 , s1 ) . . . Q(sN −1 , sN )ps0 (y0 ) . . . psN (yN ).
61
Le problème est qu’on le ne dispose pas de toute l’observation x, mais uni-
quement de l’observation y = (y1 , . . . , yN ). Il faut donc calculer la vraisem-
blance du modèle caché, en conditionnant par toutes les valeurs possibles de
s = (s1 , . . . , sN ) ∈ I N :
X
pcN (y, θ) = pN ((s, y), θ).
s∈I N
La log-vraisemblance de pN est très facile à calculer,

X
log pN = log(µ0 (s0 )) + log(Q(sk , sk+1 )).
k
Calculons la log-vraisemblance :
X
log(pcN ) = log( pN ((s, y), θ))
s∈I N
Pour la maximiser, le point de départ est un lemme d’entropie :

Lemme 2. Soit µ(x) > 0 une probabilité sur un espace discret E. Soit l’entropie
de µ définie par
X
H(µ) = µ(x) log(µ(x)).
x
Etant donné une autre probabilité µ0 (x), on définit

X
Hµ (µ0 ) = µ(x) log(µ0 (x)).
x
Alors Hµ (µ0 ) ≤ H(µ) = Hµ (µ). Il y a de plus égalité ssi µ = µ0 .

Démonstration. Si µ0 (x0 ) = 0 pour un certain x0 ∈ E, alors log(µ0 (x0 )) = −∞,
et donc l’inégalité est triviale. Autrement on a
0
X X µ (x)
Hµ (µ0 ) − Hµ (µ) = µ(x) (log(µ0 (x)) − log(µ(x))) = µ(x) log
µ(x)
x∈E x∈E
µ0 (x)
X
≤ µ(x) − 1 par l’inégalité log(u) ≤ 1 − u, u > 0
µ(x)
x∈E
X X
≤ µ0 (x) − µ(x) = 1 − 1 = 0,
x∈E x∈E
µ0 (x) µ0 (x)

d’où l’inégalité demandée. Il n’y a égalité que si il y a log µ(x) = µ(x) −1
0
pour tout x, ce qui implique µ (x) = µ(x) pour tout x ∈ E.
62
On note Pθ la probabilité du modèle sous l’hypothèse que la vraie valeur du
paramètre est θ ∈ Θ : On applique ce lemme d’entropie aux distributions
Pθ (S = s, Y = y, ) pN (s, θ, y)
py,θ (s) = Pθ (S = s|Y = y) = = c
Pθ (Y = y) pN (θ, y)
et py,θ0 (s) et on a
Hpy,θ (py,θ ) ≤ H(py,θ0 )
X X 0
py,θ (s) log(py,θ0 (s)) ≤ py,θ0 (s) log(py,θ0 (s))
s s
7.2.1 Condition de Doeblin

Soit X = (Xn ) une chaîne de Markov de matrice de transition Q.
Définition 10. On dit que X vérifie la condition de Doeblin ssi il existe l ∈
N∗ , α > 0 et µ une probabilité sur E telle que
Ql (x, y) ≥ αµ(y).
L’intérêt de cette condition est qu’elle est plus simple à vérifier que la récur-
rence positive.
Théorème 14. Supposons que X vérifie la condition de Doeblin. Alors X est
IRPA.
Avant de montrer le théorème, voyons un exemple.
Exercice 43. Retour sur l’exercice 33.
1. On cherche à déterminer l∗ ∈ N ∪ {∞} le plus petit l ∈ N∗ tel que
Ql (x, y) > 0
pour tous x, y ∈ A. Trouver des exemples pour lesquels l∗ = 3, 5, 10.
Montrer que l∗ < ∞ pour n’importe quel A comme décrit dans l’exercice
33.
2. Montrer que la chaine vérifie la condition de Doeblin.
Exercice 44. Montrer le théorème précédent dans le cas où E est fini.
8 Sujet d’examen
8.1 Juin 2011
Exercice 45. On considère une chaîne de Markov (Xn ) dans E = {1, 2, 3} avec
matrice de transition  
0 1/2 1/2
Q =  1/2 0 1/2 
1 0 0
63
1. Quelles sont les classes de récurrence/transience ?
2. Calculer une mesure de probabilité invariante. Est-elle unique ? Est-elle
réversible ?
(1)
3. Calculer pour tout x ∈ E le temps moyen de retour à x, E(Tx ). Calculer
la période de tout x ∈ E. Quelle est la limite des probabilités
Qn (x, y) = Px (Xn = y)
quand n → ∞.
4. Calculer le temps moyen de trajet entre 1 et 3
E1 (T3 ).
5. Répéter les questions 1-3 avec la matrice de transition

 
0 1/2 1/2 0
 1/2 0 1/2 0 
Q0 = 
 1
.
0 0 0 
0 1 0 0
Exercice 46 (Théorie du renouvellement). Un homme possède un stock de bois

aléatoire. Il a au jour 0 un nombre X0 de bûches, et chaque jour il consomme
une bûche. On appelle Xn le nombre de bûches à la fin du n-ème jour. Si à un
jour n il utilise sa dernière bûche, il renouvelle son stock le lendemain en allant
ramasser des bûches, il en ramène un nombre aléatoire Xn ≥ 1 tel que, pour
y ≥ 1,
P(Xn = y) = f (y),
ou
f : N∗ → R +
P
satisfait y≥1 f (y) = 1. Le jour du ramassage, il consomme également immé-
diatement une bûche.
(Ce modèle s’appelle modèle de renouvellement, et peut s’appliquer à tout
stock qui se renouvelle par un nombre aléatoire dont la loi ne varie pas.)
1. Montrer que (Xn ) est une chaîne de Markov avec pour matrice de transi-
tion 
1 si y = x − 1 ≥ 0,

Q(x, y) = f (y + 1) si x = 0,

0 autrement.

2. Montrer que (Xn ) est une chaîne de Markov irréductible.

3. Montrer que (Xn ) est une chaîne de Markov récurrente.
4. On appelle
Z = {y ∈ N : f (y) 6= 0}.
Donner une condition simple sur Z pour que la chaîne soit apériodique.
64
5. On définit la mesure sur N
∞
X
λ(x) = f (y), x ∈ N.
y=x+1
Montrer que λ est invariante.

6. On suppose que la condition de la question 4. est vérifiée. On pose
X
m= nf (n).
n≥0
Montrer que si m < ∞, on peut définir à partir de λ une distribution invariante

π. Existe-t-il dans ce cas d’autres distributions invariantes ?
7. On pose
u(n) = P0 (Xn = 0).
Donner la limite de u(n) quand n → ∞. Que dire sur la limite de u(n) lorsque
µ = ∞?
8. On considère désormais le problème de renouvellement de machines : Une

machine est affectée à une fonction particulière, et elle est remplacée par une
machine identique neuve lorsqu’elle casse. La durée de vie d’une machine suit la
loi Y , d’espérance µ < ∞. On s’intéresse à la probabilité v(n) qu’une machine
se cassé précisément à l’instant n. On note f (n) = P(Y = n).
a) On appelle Yn l’â̂ge de la machine en marche à l’instant n ≥ 0. Montrer
que Yn est une chaîne de Markov et donner sa matrice de transition.
b) En définissant judicieusement f (n), montrer que Yn peut s’écrire de ma-
nière explicite en fonction de (Xn ) définie au début de l’exercice.
c) En déduire la valeur de limn v(n).
Exercice 47 (Question de cours). Rappeler ce qu’est une mesure réversible et
montrer que toute mesure réversible est invariante.
65

Markov2016 PDF

Transféré par

Droits d'auteur :

Formats disponibles

Markov2016 PDF

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Markov2016 PDF

Transféré par

Droits d'auteur :

Formats disponibles

Chaînes de Markov (et applications)

Table des matières

1 Chaînes de Markov homogènes 4

3 Classification des états 20

5 Chaines de Markov et simulation 52

6 Chaînes de Markov en temps continu, processus de Poisson 55

Le double conditionnement se traite ainsi :

P(A ∩ B ∩ C) = P(A ∩ B|C)P(C) = PC (A ∩ B)P(C) = PC (A|B)PC (B)P(C) = P(A|B, C)P(B|C)P(C).

Etant donné des variables aléatoires X et Y ,

0.2 Familles sommables et théorème de Fubini

cette quantité n’a de sens que si

c’est-à-dire si f est intégrable. (exemple de x 7→ sin(x)

n’a de sens que si an > 0 ou si (an ; n > 0) est sommable, c’est-à-dire

n’est vrai que si f (x, y) > 0 ou si

ou si, de manière équivalente,

sans besoin de justification si f (ω, n) > 0, ou si

1 Chaînes de Markov homogènes

1.1 Exemples et définitions

Définition 1. Formellement, soit E un espace fini ou dénombrable. Ce sera

Si la transformation aléatoire fn ne dépend pas de n, i.e. Xn+1 = f (Xn )

Cela veut dire que si à un certain instant n ≥ 0 la chaîne se trouve à l’état

Q(x, y) = P(X1 = y | X0 = x), x, y ∈ E.

Q est la matrice de transition de la chaîne X.

ce qui se traduit par

P(Xn+1 = x + 1 | Xn = x) = 1/2 (= P(X1 = x + 1 | X0 = x)),

Si la grenouille se retrouve à l’état 5, alors elle peut soit passer à l’état 4,

(1/2, 0, 0, 1/2, 0),

Définition 3. On dit qu’une matrice Q (éventuellement infinie) est stochas-

On dit aussi matrice markovienne.

Proposition 1. Si Q est la matrice de transition d’une chaîne de Markov, alors

Démonstration. Soit x ∈ E. Alors

= P(“Xn aille quelque part après être allé en x...00 )

tout le temps car X1 est égal à un et un seul des y. Donc

On va voir que réciproquement, pour toute matrice stochastique Q sur un

1.2 Loi des Xn

µ0 ({x}) = P(X0 = x).

On note en général abusivement µ(x) = µ({x}) pour x ∈ E, et ces valeurs

Par exemple si E a 2 états et que la loi µ0 de X0 peut prendre indifféremment

Connaissant µ0 et Q, on peut calculer directement la loi de Xn .

Démonstration. On a (en utilisant la propriété de Markov)

en utilisant la propriété de Markov. En utilisant le même raisonnement, on

P(Xn = xn , . . . , X2 = x2 | X1 = x1 ) = P(Xn = xn , . . . , X3 = x3 | X2 = x2 )Q(x1 , x2 ).

Par récurrence, on montre la formule proposée.

On peut calculer directement la loi de Xn en utilisant le produit matriciel.

Calculer la probabilité de l’événement A3 de passer pour n ≤ 5 trois fois par

P1 (X = x1 ) = Q(1, 1)Q(1, 2)Q(2, 2)Q(2, 2) = a(1 − a)a2 = a3 (1 − a).

Avec d’autres calculs, on montre

P1 (A3 ) = a3 (1 − a) + 2a(1 − a)3 + a2 (1 − a)2 .

Pour la seconde question, il faut calculer P2 (A3 ) de manière similaire, et on

Cela revient à multiplier (matriciellement) la mesure µ0 vue comme un vecteur

Proposition 4. Pour tout n, la loi de Xn est µQn .

Démonstration. D’après la proposition 3, la loi de X1 est µ1 = µQ.

µ2 = (µ1 Q) = ((µQ) ∗ Q).

Il s’ensuit que la seconde valeur propre est λ = 2a − 1. Pour trouver le vecteur

Après n coups, Xn a un tout petit peu plus de chances d’être en 1 qu’en 2,

Remarque 3. TRES IMPORTANT ! !

Qk (x, y) 6= Q(x, y)k .

membre de gauche : multiplication matricielle.

P(Xn+k = y|Xn = x) = Qk (x, y)