Chapitre 3

Processus stochastiques à temps continu

Dans beaucoup de cas il est nécessaire d’avoir recours à des modèles stochastiques faisant intervenir
tous les instants appartenant à un intervalle donné, c’est à dire à des processus à temps continu. On
s’intéresse dans ce chapitre aux processus qui sont à valeurs dans un espace d’états au plus dénombrable 𝐸
et possèdent la propriété de Markov tels que les chaînes de Markov ,Processus de Poisson, Processus de
naissance et de mort et leur application au système d’attente M/M/1.

3-1 Chaîne de Markov en temps continu

Définition 1 Le processus stochastique (𝑋(𝑡))𝑡≥0 est une chaîne de Markov en temps continu si pour tout
𝑛 ∈ ℕ , pour toute suite d’instants 0 ≤ 𝑡0 < 𝑡1 <. . < 𝑡𝑛 < 𝑡 et tous états 𝑖, 𝑖0 , . . , 𝑖𝑛 on a

𝑃(𝑋(𝑡) = 𝑖| 𝑋(𝑡𝑛 ) = 𝑖𝑛 , . . , 𝑋(𝑡1 ) = 𝑖1 , 𝑋(𝑡0 ) = 𝑖0 ) = 𝑃(𝑋(𝑡) = 𝑖 |𝑋(𝑡𝑛 ) = 𝑖𝑛 )

Définition 2 (Probabilités de transition)

Pour tous réels positifs 𝑡 et 𝑡′ et pour tous états 𝑖 et 𝑗 les probabilités de transition sont définies par :

𝑝𝑖𝑗 (𝑡′, 𝑡) = 𝑃 (𝑋(𝑡) = 𝑗| 𝑋(𝑡′) = 𝑖 )

Lorsque les probabilités de transition sur un intervalle de temps de longueur 𝑡 sont définies par

𝑝𝑖𝑗 (𝑡) = 𝑃 (𝑋(𝑡) = 𝑗| 𝑋(0) = 𝑖 )

one dit que La chaîne de Markov est homogène.

Dans la suite, on ne considèrera que des chaînes de Markov homogènes.

Remarque 1 Les chaînes à temps discret et les chaînes à temps continu ont des propriétés analogues.
La plus importante de ces propriétés est d'être des processus sans mémoire : leur comportement futur étant
donné l'état présent ne dépend pas des états et des temps de séjour passés.

Définition 3 (Matrice de transition )

la matrice 𝑃(𝑡) dont les éléments sont les probabilités de transition 𝑝𝑖𝑗 (𝑡) , 𝑖, 𝑗 ∈ 𝐸 est appelée matrice de
transition sur un intervalle de temps de longueur 𝑡 vérifiant :
● 𝑝𝑖𝑗 (𝑡) ≥ 0 , 𝑖, 𝑗 ∈ 𝐸

● ∑𝑗∈𝐸 𝑝𝑖𝑗 (𝑡) = 1 , 𝑖 ∈ 𝐸 , 𝑡 ≥ 0

Si 𝐸 = {0,1, . . , 𝑚} , la matrice de transition 𝑃(𝑡) est donnée par

1
 𝑝00 (𝑡) 𝑝01 (𝑡) … 𝑝0𝑚 (𝑡)
𝑝 (𝑡) 𝑝11 (𝑡) … 𝑝1𝑚 (𝑡)
𝑃(𝑡) = ( 10 )
⋮ ⋮ ⋮
𝑝𝑚0 (𝑡) 𝑝𝑚1 (𝑡) … 𝑝𝑚𝑚 (𝑡)

Théorème 1 : Equations de Chapman Kolmogorov

Soit (𝑋(𝑡))𝑡≥0 une chaîne de Markov en temps continu à espace d’états 𝐸, de probabilité de transition 𝑝𝑖𝑗 (𝑡)
𝑖, 𝑗 ∈ 𝐸 . Alors

𝑝𝑖𝑗 (𝑡 + 𝑠) = ∑ 𝑝𝑖𝑘 (𝑡)𝑝𝑘𝑗 (𝑠) , 𝑡, 𝑠 ≥ 0 , 𝑖 , 𝑗 ∈ 𝐸

𝑘∈𝐸

En notation matricielle , 𝑃(𝑡 + 𝑠) = 𝑃(𝑡)𝑃(𝑠)

On peut donc voir une chaîne de Markov en temps continu comme une famille de matrices de transition
𝑃 (𝑡), 𝑡 ≥ 0 satisfaisant l’équation ci-dessus. Néanmoins, on ajoute l’hypothèse de régularité suivante :

lim 𝑃(𝑡) = 𝐼 ,
𝑡→0

Où, 𝐼 est la matrice identité.

3-1-1 Générateur infinitésimal

𝑃(𝑡)−𝐼
Une matrice carrée 𝐴 = (𝑎𝑖𝑗 )𝑖,𝑗∈𝐸 définie par 𝐴 = lim+ 𝑡
est appelée générateur infinitésimal (ou
𝑡→0
matrice génératrice ) si :

- La somme de chaque ligne de 𝐴 est nulle

- Les éléments sur la diagonale sont négatifs ou nuls et les autres sont positifs ou nuls.
- On a
𝑝𝑖𝑗 (𝑡)
𝑎𝑖𝑗 = lim+ 𝑠𝑖 𝑖 ≠ 𝑗
𝑡→0 𝑡
𝑝𝑖𝑖 (𝑡) − 1
𝑎𝑖𝑖 = −𝜆𝑖 = lim+ 𝑠𝑖𝑛𝑜𝑛
𝑡→0 𝑡
La constante 𝑎𝑖𝑗, 𝑖, 𝑗 ∈ 𝐸 , 𝑖 ≠ 𝑗 est le taux e transition infinitésimal de l’état 𝑖 vers l’état 𝑗.
Le coefficient positif - 𝑎𝑖𝑖 = 𝜆𝑖 est le taux de transition instantané de départ de l’état 𝑖 .

Exemple 1 la matrice 𝐴 donnée par

−1 1
𝐴=( )
1 −1
est un générateur infinitésimal de la chaîne de Markov 𝑋(𝑡)

2
Proposition 1 L’unique solution du système différentiel avec condition initiale
𝑃 (0) = 𝐼
{
𝑃 ′ (𝑡) = 𝐴𝑃 (𝑡) = 𝑃(𝑡)𝐴
est la matrice de transition
+∞
𝐴𝑡
(𝐴𝑡)𝑛
𝑃(𝑡) = 𝑒 = ∑
𝑛!
𝑛=0

3-1-2 Calcul de la matrice 𝑷(𝒕)

Le calcul de la matrice 𝑃(𝑡) = 𝑒 𝐴𝑡 est facile lorsque 𝐴 est une matrice diagonalisable : 𝐴 = 𝑈𝐷𝑈 −1 , Où 𝐷
est la matrice diagonale des valeurs propres de 𝐴 et 𝑈 est une matrice inversible dont les colonnes sont des
vecteurs propres à droite associés à ces valeurs propres . Son exponentielle est alors

𝑃 (𝑡) = 𝑒 𝐴𝑡 = 𝑈𝑒 𝐷𝑡 𝑈−1

Exemple 2 Reprenons l’exemple précédent . Pour calculer 𝑃 (𝑡), on diagonalise la matrice 𝐴 . On a donc
𝐴 = 𝑈𝐷𝑈 −1 . Les valeurs propres sont alors obtenus en solutionnant l’équation caractéristique
det (𝐴 − 𝜆𝐼) = 0

−1 − 𝜆 1
det ( ) = (−1 − 𝜆)(−1 − 𝜆) − 1 = 𝜆(𝜆 + 2) = 0 . D’ où 𝜆0 = 0 , 𝜆1 = −2 .
1 −1 − 𝜆
Les vecteurs propres associés sont obtenus en solutionnant l’équation :
𝑥
(𝐴 − 𝜆𝑖 𝐼) (𝑦) = (0) , 𝑖 = 0,1
0
𝑥 −1 1 𝑥 −𝑥 + 𝑦 0
Pour 𝜆0 = 0 𝐴 (𝑦 ) = ( ) (𝑦) = ( ) ( )
𝑥 − 𝑦 = 0 alors 𝑥 = 𝑦
1 −1
𝑥 1
D’où (𝑦 ) = ( )
1
𝑥 𝑥 𝑥+𝑦
Pour 𝜆1 = −2 (𝐴 + 2𝐼 ) ( ) = (1 1) ( ) = ( 0
) ( )
𝑦 1 1 𝑦 𝑥 + 𝑦 = 0 alors 𝑥 = −𝑦
𝑥 −1
D’où (𝑦) = ( )
1
1 −1
On définit donc 𝑈=( )
1 1
on trouve alors
1 𝑡 1 1 1 1/2 1/2
𝑈 −1 = 𝐶𝑜𝑚(𝑈) = ( )=( )
𝑑𝑒𝑡𝑈 2 −1 1 −1/2 1/2
Finalement , on obtient

3
 1 1 −2𝑡 1 1 −2𝑡
+ 𝑒 − 𝑒
𝑃 (𝑡) = 𝑒 𝐴𝑡 = 𝑈𝑒 𝐷𝑡 𝑈 −1 = (
1 −1 𝑒
)(
0
0 ) ( 1/2 1/2) = (2 2 2 2 )
1 1 0 𝑒 −2𝑡 −1/2 1/2 1 1 −2𝑡 1 1 −2𝑡
− 𝑒 + 𝑒
2 2 2 2
1/2 1/2
Ainsi , lim 𝑃 (𝑡) = ( )
𝑡→+∞ 1/2 1/2
On remarque que toutes les lignes de la matrice de transition limite sont identiques, Ce qui signifie que la
chaîne oublie l’état initial à long terme . De plus , les valeurs sur chaque ligne correspondent aux proportions
moyennes de temps à long terme dans les états 0,1 et 2 , respectivement.

3-1-3 Loi de 𝑿(𝒕)

La loi à l’instant 𝑡 de la chaine de Markov en temps continu (𝑋(𝑡))𝑡≥0 de loi initiale 𝜋(0) et de générateur
infinitésimal 𝐴, est donnée par

𝜋(𝑡) = 𝜋(0) 𝑃(𝑡) = 𝜋(0) 𝑒 𝐴𝑡

Où 𝜋(0) = (𝑃(𝑋(0) = 0), 𝑃 (𝑋(0) = 1), . . ) et 𝜋(𝑡) = (𝑃(𝑋(𝑡) = 0), 𝑃 (𝑋(𝑡) = 1), . . )

Exemple 3 : supposons qu’à l’instant initial 𝜋(0) = (0,1) alors à l’instant 𝑡

1 1 −2𝑡 1 1 −2𝑡
+ 𝑒 − 𝑒 1 1 1 1 −2𝑡
𝜋(𝑡) = (0,1) (2 2 2 2 ) = ( − 𝑒 −2𝑡 , + 𝑒 )
1 1 −2𝑡 1 1 −2𝑡 2 2 2 2
− 𝑒 + 𝑒
2 2 2 2

3-1-4 Classification des états

- Un état 𝑗 est accessible depuis un état 𝑖 s’il existe 𝑡 ≥ 0 tel que 𝑝𝑖𝑗 (𝑡) > 0
- Deux états 𝑖 et 𝑗 communiquent s’il existe 𝑡1 ≥ 0 , 𝑡2 ≥ 0 tels que 𝑝𝑖𝑗 (𝑡1 ) > 0 et 𝑝𝑗𝑖 (𝑡2 ) > 0
- Une chaîne de Markov en temps continu est irréductible si tous ses états communiquent.

Les propriétés d’irréductibilité, de récurrence et de transience d’une chaîne de Markov en temps continu
sont les mêmes que celles d’une chaînes de Markov discrètes .

3-1-5 Distribution stationnaire

Un vecteur de probabilité 𝜋 = (𝜋𝑖 )𝑖∈𝐸 est stationnaire si pour tout 𝑗 et pour tout 𝑡 ≥ 0 , on a

∑ 𝜋𝑖 𝑝𝑖𝑗 (𝑡) = 𝜋𝑗
𝑖∈𝐸

qui s’écrit 𝜋 𝑃 (𝑡) = 𝜋

Théorème 2 Soit une chaîne de Markov en temps continu de générateur 𝐴 . Si 𝜋 est une distribution
stationnaire , elle satisfait l’équation d’équilibre

𝜋𝐴 = 0

Avec ∑𝑖∈𝐸 𝜋𝑖 = 1

4
Théorème 3 une chaîne de Markov en temps continu irréductible possède une unique distribution
stationnaire (𝜋𝑗 )𝑗∈𝐸 indépendante de la distribution initiale , elle est égale à 𝜋𝑗 = lim 𝑝𝑖𝑗 (𝑡)
𝑡→+∞

Exemple 4 le générateur d’une chaîne de Markov en temps continu à valeurs dans 𝐸 = {0,1,2} est donné
par

−1 0 1
𝐴 = ( 2 −3 1 )
0 2 −2
Son graphe de transition est

A partir du graphe , on remarque que la chaîne est irréductible donc elle possède une unique distribution
stationnaire calculée par
𝜋𝐴 = 0 −𝜋0 + 2𝜋1 = 0
−3𝜋1 + 2𝜋2 = 0
{ ⇔{
∑ 𝜋𝑖 = 1 𝜋0 + 𝜋1 − 2𝜋2 = 0
𝑖∈𝐸 𝜋0 + 𝜋1 + 𝜋2 = 1
3
Ce qui donne 𝜋0 = 2𝜋1 et 𝜋2 = 𝜋1 . De l’équation 𝜋0 + 𝜋1 + 𝜋2 = 1 , on obtient
2

3 2 4 3 4 2 3
2𝜋1 + 𝜋1 + 2 𝜋1 = 1 d’où 𝜋1 = 9 , 𝜋0 = 9 et 𝜋2 = 9 , 𝜋 = (9 , 9 , 9 )

3-1-6 Chaîne de Markov incluse

Soit (𝑍𝑛 , 𝑛 ≥ 0) la suite des états visités par la chaîne de Markov homogène (𝑋(𝑡))𝑡≥0 d’espace d’état 𝐸 ,
et de générateur 𝐴 = (𝑎𝑖𝑗 )𝑖,𝑗∈𝐸 alors le processus (𝑍𝑛 , 𝑛 ≥ 0) est une chaîne de Markov en temps discret
∗
homogène , d’espace d’état 𝐸 et de matrice de transition 𝑄∗ = (𝑞𝑖𝑗 ) donnée par
𝑖,𝑗∈𝐸

𝑎𝑖𝑗
∗ 𝑠𝑖 𝑖 ≠ 𝑗
𝑠𝑖 𝜆𝑖 > 0 , 𝑞𝑖𝑗 = { 𝜆𝑖
0 𝑠𝑖 𝑖 = 𝑗

∗ 0 𝑠𝑖 𝑖 ≠ 𝑗
𝑠𝑖 𝜆𝑖 = 0 , 𝑞𝑖𝑗 ={
1 𝑠𝑖 𝑖 = 𝑗

En outre , 𝜆𝑖 > 0 si et seulement 𝑖 n’est pas absorbant . La chaîne de Markov (𝑍𝑛 , 𝑛 ≥ 0) est appelée
chaine incluse .