C HAPITRE 1

(CHAINES DE M ARKOV )
EXERCICE 1

On considère la chaîne de Markov (Xn, n0) définie par la matrice de

transition :

1 1 0
 2 2 
P  1 0 1 
 02 1
2
0 
 

Montrer que lim 𝑝𝑖𝑗 existe et calculer sa valeur pour tout i, j .

(𝑛)
𝑛→∞

La chaîne de Markov (Xn, n0) est irréductible et apériodique.

Calculons la distribution stationnaire (𝜋𝑗 , 𝑗 ∊ 𝑆):

1 1
0
2 2
(π0, π1, π2)( 1 0
1) =(π0, π1, π2) et π0 +π1 +π2=1
2 2
0 1 0
2 (𝑛)
𝜋0 = lim 𝑝
5 𝑛→∞ 𝑖0
2
𝜋1 = 2
5 =  iϵS
1 5
𝜋2 =
{ 5
(𝑛) 2
lim 𝑝𝑖1 =  iϵS
Donc 𝑛→∞ 5
(𝑛) 1
lim 𝑝𝑖2 =  iϵS
𝑛→∞ 5

2
EXERCICE 2

On considère la chaîne de Markov définie par la matrice de transition :

0 1 0 0
0 0 2 1 
P 3 3 .
1 0 0 0
 
1 0 0 0

a- Dessiner le graphe des transitions correspondant.

b- Calculer les valeurs propres de P.

𝛑 𝟓𝛑
𝟎, 𝟏, 𝐞−𝐢𝟔 , 𝐞−𝐢 𝟔
c- Etudier 𝐥𝐢𝐦 𝐏(𝐗 𝐧 = 𝐢/𝐗 𝟎 = 𝐢) pour tout i .
𝐧→∞

∞
(3𝑛) 3 (3𝑟) 3 (3) (6) (9) 3
lim 𝑝00 = ∑ 𝑓00 = (𝑓00 + 𝑓00 + 𝑓00 + ⋯ ) = (1 + 0 + 0 + ⋯ ) = 1
𝑛→∞ 0 0 3
𝑟=0
(3𝑛+1)
lim 𝑝 =0
𝑛→∞ 00
(3𝑛+2)
lim 𝑝00 =0
𝑛→∞

∞
(3𝑛) 3 (3𝑟) 3 (3) (6) (9) 3
lim 𝑝11 = ∑ 𝑓11 = (𝑓11 + 𝑓11 + 𝑓11 + ⋯ ) = (1 + 0 + 0 + ⋯ ) = 1
𝑛→∞ 1 1 3
𝑟=0
(3𝑛+1)
lim 𝑝11 =0
𝑛→∞
(3𝑛+2)
lim 𝑝11 =0
𝑛→∞

3
 ∞
(3𝑛) 3 (3𝑟) 3 (3) (6) (9)
lim 𝑝22 = ∑ 𝑓22 = (𝑓22 + 𝑓22 + 𝑓22 + ⋯ )
𝑛→∞ 2 2
𝑟=0

3 2 1 1 2 1 3 2
= ( (1 + + ( ) + ( ) + ⋯ )) =
9 3 3 3 3 3
2
(3𝑛+1)
lim 𝑝22 =0
𝑛→∞
(3𝑛+2)
lim 𝑝 =0
𝑛→∞ 22

∞
(3𝑛) 3 (3𝑟) 3 (3) (6) (9)
lim 𝑝33 = ∑ 𝑓33 = (𝑓33 + 𝑓33 + 𝑓33 + ⋯ )
𝑛→∞ 3 3
𝑟=0

3 1 2 2 2 2 3 1
= ( (1 + + ( ) + ( ) + ⋯ )) =
9 3 3 3 3 3
(3𝑛+1)
lim 𝑝 =0
𝑛→∞ 33
(3𝑛+2)
lim 𝑝 =0
𝑛→∞ 33

d- Calculer la distribution stationnaire de ce processus.

0 1 0 0
2 1
0 0
(π0, π1, π2, π3)( 3 3) =(π0, π1, π2, π3) et π0 +π1 +π2 +π3=1 𝐷𝑜𝑛𝑐 ∶
1 0 0 0
1 0 0 0
1
π0 =
3
1
π1 =
3
2
π2 =
9
1
{π3 = 9

4
EXERCICE 3

On considère une chaîne de Markov (Xn, n0) définie par la matrice de

transition :

0 1 1 0 0 0
 2 2 
1 0 0 0 0 0
0 1 0 0 0 0
 
0 0 0 1 0 0
0 0 1 1 1 1 
 4 4 4 4
0 1 0 0 1 1 
 4 2 4

- Trouver tous les états récurrents et calculer leurs périodes.

𝐑𝟏 = {𝟏, 𝟐, 𝟑}(𝐩 = 𝟏), 𝐑𝟐 = {𝟒}(𝐩 = 𝟏), 𝐓 = {𝟓, 𝟔}(𝐩 = 𝟏)

- Partant de l’état 5, calculer la probabilité pour que le processus

atteigne l’état 1.
𝟏 𝟏
𝐐 = (𝟒 𝟒) ;
𝟏 𝟏
𝟐 𝟒
𝟏𝟐 𝟒
(𝐈 − 𝐐)−𝟏 =(𝟕 𝟕)
𝟖 𝟏𝟐
𝟕 𝟕

5
 𝟏𝟐 𝟒 𝟏 𝟒
𝐟 𝟕 ) ( 𝟒) = ( 𝟕)
( 𝟓𝟏 ) = ( 𝟕
𝐟𝟔𝟏 𝟖 𝟏𝟐 𝟏 𝟓
𝟕 𝟕 𝟒 𝟕

𝟒
𝐟𝟓𝟏 =
𝟕
- Montrer que limn  P( X n  1X 0  5) existe et calculer sa valeur.
(𝒏) 𝒇𝟓𝟏
𝐥𝐢𝐦 𝒑𝟓𝟏 =
𝒏→∞ 𝟏
𝟏 𝟏 𝟓
𝟏 = 𝟐 ( ) + 𝟑 ( ) =
𝟐 𝟐 𝟐
(𝒏) 𝟖
𝐥𝐢𝐦 𝒑𝟓𝟏 =
𝒏→∞ 𝟑𝟓

- Supposons que le processus se trouve actuellement dans l’état 5.

Sachant que chaque fois que le processus passe par l’état 5
(respectivement l’état 6) un coût C (respectivement 2C) doit être
payé. Calculer le coût moyen en fonction de C.
𝟏𝟑
𝐂𝐨û𝐭 𝐦𝐨𝐲𝐞𝐧 = 𝐂 ∗ 𝐧𝟓𝟓 + 𝟐𝐂 ∗ 𝐧𝟓𝟔 = 𝐂
𝟕

𝐟𝟓𝟓 𝟓
𝐧𝟓𝟓 = =
𝟏 − 𝐟𝟓𝟓 𝟕
𝐟𝟓𝟔 𝟒
𝐧𝟓𝟔 = =
𝟏 − 𝐟𝟔𝟔 𝟕
∞
(𝒌) 𝟏 𝟏 𝟏 𝟏 𝟐 𝟏 𝟑 𝟓
𝐟𝟓𝟓 = 𝐟𝟔𝟔 = ∑ 𝒇𝟓𝟓 = ( + (𝟏 + + ( ) + ( ) + ⋯ ) =
𝟒 𝟖 𝟒 𝟒 𝟒 𝟏𝟐
𝒌=𝟏
∞
(𝒌) 𝟏 𝟏 𝟏 𝟐 𝟏 𝟑 𝟏
𝐟𝟓𝟔 = ∑ 𝒇𝟓𝟔 = ( (𝟏 + + ( ) + ( ) + ⋯ ) =
𝟒 𝟒 𝟒 𝟒 𝟑
𝒌=𝟏

6
EXERCICE 4

Ali possède 1Dh et a besoin de 5Dh. Pour acquérir le montant manquant, il

participe au jeu de hasard suivant. A chaque coup, la somme jouée sera
doublée en cas de gain et perdue sinon. Chaque fois sa mise est telle qu’il se
rapproche le plus possible de la somme de 5Dh sans toutefois la dépasser.
Le nombre de coups n’est pas limité. Quelle est la probabilité de gagner ces
5Dh et quel est le nombre moyen de coups nécessaires ? (On suppose qu’il
s’agit d’un jeu équitable).

𝟏 𝟎 𝟎 𝟎 𝟎 𝟎
𝟎. 𝟓 𝟎 𝟎. 𝟓 𝟎 𝟎 𝟎
𝐏 = 𝟎. 𝟓 𝟎 𝟎 𝟎 𝟎. 𝟓 𝟎
𝟎 𝟎. 𝟓 𝟎 𝟎 𝟎 𝟎. 𝟓
𝟎 𝟎 𝟎 𝟎. 𝟓 𝟎 𝟎. 𝟓
( 𝟎 𝟎 𝟎 𝟎 𝟎 𝟏 )

𝟏
𝐏(𝐠𝐚𝐠𝐧𝐞𝐫 𝟓 𝐃𝐡)) = 𝐟𝟏𝟓 =
𝟓

𝐑𝟏 = {𝟎}, 𝐑𝟐 = {𝟓}, 𝐓 = {𝟏, 𝟐, 𝟑, 𝟒}

7
 𝟏𝟔 𝟖 𝟐 𝟒
𝟏𝟓 𝟏𝟓 𝟏𝟓 𝟏𝟓
𝟎 𝟎. 𝟓 𝟎 𝟎 𝟐 𝟏𝟔 𝟒 𝟖
𝐐 = (𝟎 𝟎 𝟎 𝟎. 𝟓) 𝐝𝐨𝐧𝐜 [𝐈 − 𝐐]−𝟏 = 𝟏𝟓 𝟏𝟓 𝟏𝟓 𝟏𝟓
𝟎. 𝟓 𝟎 𝟎 𝟎 𝟖 𝟒 𝟏𝟔 𝟐
𝟎 𝟎 𝟎. 𝟓 𝟎 𝟏𝟓 𝟏𝟓 𝟏𝟓 𝟏𝟓
𝟒 𝟐 𝟖 𝟏𝟔
(𝟏𝟓 𝟏𝟓 𝟏𝟓 𝟏𝟓)

𝟏𝟔 𝟖 𝟐 𝟒 𝟏
𝟏𝟓 𝟏𝟓 𝟏𝟓 𝟏𝟓 𝟓
𝐟𝟏𝟓 𝟐 𝟏𝟔 𝟒 𝟖 𝟎 𝟐
𝐟 𝟏𝟓 ( 𝟎 ) = 𝟓
( 𝟐𝟓 ) = 𝟏𝟓 𝟏𝟓 𝟏𝟓
𝐟𝟑𝟓 𝟖 𝟒 𝟏𝟔 𝟐 𝟎. 𝟓 𝟑
𝐟𝟒𝟓 𝟏𝟓 𝟏𝟓 𝟏𝟓 𝟏𝟓 𝟎. 𝟓 𝟓
𝟒 𝟐 𝟖 𝟏𝟔 𝟒
(𝟏𝟓 𝟏𝟓 𝟏𝟓 𝟏𝟓) (𝟓 )

𝟏𝟔 𝟖 𝟐 𝟒
𝟏𝟓 𝟏𝟓 𝟏𝟓 𝟏𝟓
𝐧𝟏 𝟐 𝟏𝟔 𝟒 𝟖 𝟏 𝟐
𝐧
(𝐧𝟐 ) = 𝟏𝟓 𝟏𝟓 𝟏𝟓 𝟏𝟓 (𝟏) = (𝟐)
𝟑 𝟖 𝟒 𝟏𝟔 𝟐 𝟏 𝟐
𝐧𝟒 𝟏𝟓 𝟏𝟓 𝟏𝟓 𝟏𝟓 𝟏 𝟐
𝟒 𝟐 𝟖 𝟏𝟔
(𝟏𝟓 𝟏𝟓 𝟏𝟓 𝟏𝟓)

𝐏𝐚𝐫𝐭𝐚𝐧𝐭 𝐝𝐞 𝟏 𝐥𝐞 𝐧𝐨𝐦𝐛𝐫𝐞 𝐦𝐨𝐲𝐞𝐧 𝐝𝐞 𝐜𝐨𝐮𝐩𝐬 𝐧é𝐜𝐞𝐬𝐬𝐚𝐢𝐫𝐞𝐬 𝐞𝐬𝐭 : 𝐧𝟏 = 𝟐.

8
EXERCICE 5

On suppose que le fait qu'il pleuve demain ou non dépend seulement du fait
qu'il pleuve ou non aujourd'hui. On suppose que s’il pleut aujourd'hui, il
pleuvra demain avec une probabilité 1-  , et s'il ne pleut pas aujourd'hui, il
pleuvra demain avec une probabilité  . On représente le temps qu'il fait par
0 quand il pleut et 1 quand il ne pleut pas. Ceci définit un processus Xn état
du temps au jour n.

a- Écrire la matrice de transition P.

𝟏−𝛂 𝛂
( )
𝛃 𝟏−𝛃

b- Calculer la probabilité qu'il pleuve dans quatre jours sachant

qu'il pleut aujourd'hui.

La probabilité qu'il pleuve dans n jours sachant qu'il pleut

aujourd'hui :
𝛃 𝛂
+ (𝟏 −  − 𝛃)𝐧
(𝛂 + 𝛃) (𝛂 + 𝛃)
La probabilité qu'il pleuve dans 4 jours sachant qu'il pleut
aujourd'hui :
𝛃 𝛂
+ (𝟏 −  − 𝛃)𝟒
(𝛂 + 𝛃) (𝛂 + 𝛃)

c- Calculer la probabilité qu'il pleuve quatre jours de suite

sachant qu'il pleut aujourd'hui.

(𝟏 − )𝟒
9
 d- Montrer qu'il existe une distribution stationnaire π, la calculer
en fonction de  et β
𝛃
𝛑𝟎 =
(𝛂 + 𝛃)
𝛂
𝛑𝟏 =
(𝛂 + 𝛃)

e- Convergence ?

−𝟏 < 𝟏 −  − 𝛃 < 𝟏 
𝟎 <  + 𝛃 < 𝟐

 ≠ 𝟎 𝐨𝐮 𝛃 ≠ 𝟎 &  ≠ 𝟏 𝐨𝐮 𝛃 ≠ 𝟏

2- On suppose maintenant que le fait qu'il pleuve ou non demain dépend

aussi du temps qu'il a fait hier.

- S'il a plu hier et aujourd'hui, il pleuvra demain avec une probabilité

1-.

- S'il a plu aujourd'hui et pas hier, il pleuvra demain avec une probabilité
1-.

- S'il a plu hier et pas aujourd'hui, il pleuvra demain avec une probabilité
β.

- S'il n'a plu ni hier ni aujourd'hui, il pleuvra demain avec une probabilité
.

a. Si l'on considère le processus défini à la question 1, montrer que ce

processus n'est plus une chaîne de Markov (sauf conditions
particulières sur, β, , ).

 =  𝐞𝐭 𝛃 = 

10
b. On définit alors le processus Yn ainsi :

Yn = 0 s'il pleut au jour n et au jour n - 1.

Yn = 1 s'il pleut au jour n et pas au jour n - 1.

Yn = 2 s'il pleut au jour n - 1 et pas au jour n.

Yn = 3 s'il ne pleut ni au jour n ni au jour n - 1.

Écrire la matrice de transition

𝟏− 𝟎  𝟎
𝟏− 𝟎  𝟎
( )
𝟎 𝛃 𝟎 𝟏−𝛃
𝟎  𝟎 𝟏−

a- Sachant qu'il a plu lundi et mardi, calculer la probabilité qu'il pleuve

jeudi.

𝟏− 𝟎  𝟎 𝟐

𝟏− 𝟎  𝟎
(𝟏 𝟎 𝟎 𝟎) ( )
𝟎 𝜷 𝟎 𝟏−𝜷
𝟎  𝟎 𝟏−

= (( − 𝟏)𝟐 𝜷 −( − 𝟏) −(𝜷 − 𝟏))

𝐏(𝐩𝐥𝐞𝐮𝐯𝐞 𝐣𝐞𝐮𝐝𝐢/𝐢𝐥 𝐚 𝐩𝐥𝐮 𝐥𝐮𝐧𝐝𝐢 𝐞𝐭 𝐦𝐚𝐫𝐝𝐢) =

( − 𝟏)𝟐 + 𝛃 = 𝟏 + 𝟐 − 𝟐 + 𝛃
b- Sachant qu'il n'a plu ni samedi ni dimanche, calculer la probabilité qu'il
pleuve mardi.

𝟏− 𝟎  𝟎 𝟐

𝟏− 𝟎  𝟎
(𝟎 𝟎 𝟎 𝟏) ( )
𝟎 𝛃 𝟎 𝟏−𝛃
𝟎  𝟎 𝟏−

= (−( − 𝟏) −( − 𝟏)  ( − 𝟏)𝟐 )

𝐏(𝐩𝐥𝐞𝐮𝐯𝐞 𝐦𝐚𝐫𝐝𝐢/𝐢𝐥 𝐧′𝐚 𝐩𝐥𝐮 𝐧𝐢 𝐬𝐚𝐦𝐞𝐝𝐢 𝐧𝐢 𝐝𝐢𝐦𝐚𝐧𝐜𝐡𝐞 =

−( − 𝟏) − ( − 𝟏) = 𝟐 −  − 𝟐

11
 c- Déterminer la probabilité stationnaire et la proportion de jours où il
pleut, observée sur un temps assez long, en supposant que, β, ,  ϵ
]0,1[
𝛑𝟎 = (𝟏 − )𝛑𝟏
𝛑𝟏 = 𝜷𝛑𝟐 + 𝛑𝟑
𝛑𝟐 = 𝛑𝟎 + 𝛑𝟏
𝛑𝟑 = (𝟏 − 𝜷)𝛑𝟐
𝛑𝟎 + 𝛑𝟏 + 𝛑 𝟐 + 𝛑𝟑 = 𝟏
⋮
𝒍𝒂 𝒑𝒓𝒐𝒑𝒐𝒓𝒕𝒊𝒐𝒏 𝒅𝒆 𝒋𝒐𝒖𝒓𝒔 𝒐ù 𝒊𝒍 𝒑𝒍𝒆𝒖𝒕, 𝒐𝒃𝒔𝒆𝒓𝒗é𝒆 𝒔𝒖𝒓 𝒖𝒏 𝒕𝒆𝒎𝒑𝒔 𝒂𝒔𝒔𝒆𝒛 𝒍𝒐𝒏𝒈
= 𝛑𝟎 + 𝛑 𝟏

12
EXERCICE 6

Une compagnie d’assurance utilise le système bonus-malus suivant pour La

RC automobile : au début de chaque année t, chaque assuré se voit attribuer
une classe de bonus X t  1,2,3 d’après le nombre de sinistres S t 1 qu’il a causé
durant l’année t-1 et d’après la classe X t 1 qu’il occupait cette année-là :

 max(1, X t 1  1), S t 1  0
Xt  
min(3, X t 1  S t 1 ), S t 1  0

Les variables aléatoires S t , t  0 sont supposées indépendantes et suivent la

même loi : P( S t  0)  0.8 , P( S t  1)  0.1, P( S t  2)  0.1 .

1. Trouver la matrice de transition de la chaîne de Markov ( X t , t  0) .

𝟎. 𝟖 𝟎. 𝟏 𝟎. 𝟏
(𝟎. 𝟖 𝟎 𝟎. 𝟐)
𝟎 𝟎. 𝟖 𝟎. 𝟐

2. Chaque assuré verse à l’assureur une prime dont le montant s’élève

à X t fois une prime de base K. Sachant que la compagnie compte un
million d’assurés et qu’elle évalue ses dépenses à un milliard de
dirhams, calculer une estimation de la prime de base K sensée
permettre d’équilibrer son budget.

13
La chaîne de Markov (Xn, n0) est irréductible et apériodique.

Calculons la distribution stationnaire (𝜋𝑗 , 𝑗𝜖𝑆):

0.8 0.1 0.1

(𝜋1, 𝜋2, 𝜋3) (0.8 0 0.2) = (𝜋1, 𝜋2, 𝜋3) et 𝜋1 + 𝜋2 + 𝜋3 = 1
0 0.8 0.2
16
𝜋1 =
23
4
𝜋2 =
23
3
𝜋3 =
{ 23

Donc :
16 4 3
1 000 000 (K ( ) + 2K ( ) + 3K ( )) = 1 000 000 000
23 23 23

D’où :
23
K= 1 000 Dhs  697 Dhs
33

14