Université Pierre et Marie Curie

Master de mathématiques

Probabilités approfondies

Fascicule d’exercices

Année 2018–2019

Cours : Nicolas Broutin

Travaux dirigés : Quentin Berger, Emmanuel Schertzer, Camille Tardif

1
2
Chapitre 0

Rappels de probabilités

Espaces de probabilité et variables aléatoires

Exercice 0.1. Un document a été perdu. La probabilité pour qu’il se trouve dans un
meuble est p, 0 < p < 1. Ce meuble comporte sept tiroirs. On explore six tiroirs sans
trouver le document. Quelle est la probabilité de le trouver dans le septième ?

Exercice 0.2. Soient A1 , A2 , · · · , An , · · · des événements d’un espace de probabilité

(⌦, F , P).
Q
1. Montrer que, pour tout entier n 1, 1\nk=1 Ak = nk=1 1Ak .
Qn
2. Montrer que, pour tout entier n 1, 1[nk=1 Ak = 1 k=1 (1 1Ak ) .
P
3. On pose pk = 1i1 <i2 <···<ik n P(Ai1 \ Ai2 \ · · · \ Aik ). Montrer que
n
X
P([nk=1 Ak ) = ( 1)k 1 pk .
k=1

4. n personnes participent à un père Noël secret : les n noms (que l’on suppose tous
di↵érents) sont écrits sur des étiquettes, et chaque personne tire au hasard une
étiquette (et la garde) – le nom écrit sur cette étiquette est celui de la personne à
qui elle doit faire un cadeau. On note p(n) la probabilité qu’au moins une personne
tire une étiquette avec son propre nom. Expliciter p(n). Calculer limn!1 p(n).

Exercice 0.3. Soient X et Y deux variables aléatoires indépendantes prenant toutes les
valeurs entières entre 1 et n suivant les probabilités :

P(X = k) = P(Y = k) = 1/n, k 2 {1, · · · , n}.

Calculer P(X = Y ) et P(X Y ). Déterminer la loi de X Y.

Exercice 0.4. Soit T une variable aléatoire à valeurs dans N := {0, 1, 2, · · · } définie sur
un espace de probabilité (⌦, F , P). On suppose que, pour tout n 1, P(T n) > 0
et, pour tous n, p 1, P(T n + p|T n) = P(T p). Montrer que T suit une loi
géométrique.

3
Exercice 0.5. Soit (⌦, F , P) un espace de probabilité. On considère " et X des variables
aléatoires réelles indépendantes définies sur cet espace. On suppose que " a pour loi :
P(" = 1) = P(" = 1) = 1/2.
1. Montrer que "X et " sont indépendantes si et seulement si la loi de X est symétrique
(c’est-à-dire, X a la même loi que X).
2. Construire un espace de probabilité (⌦, F , P) pour lequel il existe deux sous-tribus
A et B indépendantes et une variable aléatoire Y telle que :
(a) Y est (A [ B)-mesurable,
(b) Y est indépendante de B,
(c) Y n’est pas A -mesurable.
3. Construire un espace de probabilité (⌦, F , P) pour lequel il existe deux sous-tribus
A et B indépendantes et une variable aléatoire Z telle que :
(a) Z est (A [ B)-mesurable,
(b) Z est indépendante de B,
(c) Z est indépendante de A .
Exercice 0.6. On considère n variables aléatoires indépendantes X1 , · · · , Xn à valeurs
dans P{1, 2, · · · , r} et de même loi donnée par P(X1 = i) = pi , 1  i  r. On définit
Zi = nj=1 1{Xj =i} .
1. Déterminer la loi de Z1 . A quelle condition les variables aléatoires Zi ont-elles même
loi ?
2. Calculer la covariance de Z1 et Z2 . Les variables aléatoires Z1 et Z2 sont-elles
indépendantes ?
Exercice 0.7. On dit qu’une variable aléatoire réelle X suit la loi gamma de paramètre
a > 0 si X admet la densité
1
e x xa 1 1{x>0} .
(a)
1. Soit U une variable aléatoire de loi gamma de paramètre a. Calculer explicitement
les moments E(U n ), n 2 N.
2. Soient U et V deux variables aléatoires indépendantes de loi gamma de paramètres
respectifs a et b. Montrer que les variables aléatoires U/(U + V ) et U + V sont
indépendantes et expliciter la loi de U/(U + V ).
Exercice 0.8. Soient X1 , X2 , · · · , Xn des variables aléatoires indépendantes de même
loi exponentielle de paramètre > 0. On pose S0 = 0 et, pour 1  k  n, Sk =
X1 + X2 + · · · + Xk .
1. Déterminer la loi du vecteur aléatoire (S1 , S2 , · · · , Sn ).
2. Montrer que la variable aléatoire Sn = X1 + X2 + · · · + Xn admet pour densité

n sn snn 1
fSn (sn ) = e 1{s >0} .
(n 1)! n
3. Déterminer la fonction caractéristique de Sn .
4. Calculer de deux manières E(Sn ) et Var (Sn ).

4
Convergences de suites de variables aléatoires
Exercice 0.9. Dans les cas suivants, quels sont les di↵érents modes de convergence que
la suite de variables aléatoires réelles (Xn , n 1) est susceptible de réaliser.

1. P Xn = 1 1
n
= P Xn = 1 + 1
n
= 12 .
2. P Xn = 1
n
= 1
2n
, P(Xn = n) = 1 1
2n
.
3. P(Xn = 0) = 1 1
n
, P(Xn = 1) = n1 .
4. P(Xn = 0) = 1 pn , P(Xn = 1) = pn , où les Xn sont supposées indépendantes ;
dans ce cas, donner une condition nécessaire et suffisante portant sur la suite (pn )
pour que
(a) (Xn ) converge p.s. ;
(b) (Xn ) converge dans L1 ;
(c) (Xn ) converge en loi (i.e., E(f (Xn )) ! E(f (X)) quand n ! 1 pour toute
application continue bornée f : R ! R).

Exercice 0.10. Soient (Xn , n 1) une suite de variables aléatoires réelles indépendantes
et X une variable aléatoire réelle.
P
1. Montrer que, si pour tout " > 0, n 1 P(|Xn X| > ") < 1, alors Xn ! X p.s.
(quand n ! 1).
On suppose que Xn ! 0 p.s. (resp.
2. P P Xn ! X p.s.). Montrer que, pour tout " > 0,
n 1 P(|X n | > ") < 1 (resp. n 1 P(|X n X| > ") < 1).
3. Conclure.

Exercice 0.11 (Pas de convergence en probabilité pour la moyenne de Césaro). Soit

(Xn )n 1 une suite de variables aléatoires indépendantes, Xn étant de fonction de répartition
donnée par
1
Fn (x) = 0 si x  0 et Fn (x) = 1 si x > 0.
x+n
P
On pose Sn = nk=1 Xk , et Yn = Snn . Montrer que la suite (Xn )n 1 converge en probabilité
vers 0, mais pas la suite (Yn )n 1 .

Exercice 0.12. Soit (Xn , n 1) une suite de variables aléatoires de même loi uniforme
sur [0, 1]. On pose
1 1
Tn = si Xn  ,
n n
1
Tn = 1 si Xn > .
n
1. Montrer que la suite (Tn ) converge en probabilité et trouver sa limite.
P
2. Vérifier que, pour tout " > 0, on a n 1 P(|Tn2 1| > ")  +1. En déduire la
convergence presque sûre de la suite (Tn2 ).

5
Exercice 0.13. Soit (Xn )n 1 une suite de v.a. i.i.d. de loi de Bernouilli de paramètre
p 2]0, 1[. On définit
n
X Xk
Yn = .
k=1
2k
1. Montrer que, presque sûrement, Yn converge. On note Y sa limite. Montrer que Y
est une variable aléatoire.
2. Si p = 1/2, donner la loi de Y .
Indication : utiliser la convergence de la fonction de répartition.

Exercice 0.14. Soit (Xn )n 1 une suite indépendantes avec E[Xn ] =

Pn de variables aléatoiresP
0 pour tout n 1. On pose Sn = i=1 Xi . On suppose que +1 n=1 Var(Xn ) < +1.
1. Montrer que Sn converge dans L2 vers une variable aléatoire S.
Indication : on pourra utiliser le fait que L2 est complet, i.e. que chaque suite de Cauchy a une
limite.
P
2. En déduire que E[S] = 0 et Var(S Sn ) = +1
k=n+1 Var(Xk ) pour tout n.
P+1
3. Montrer que si on a de plus n=1 n Var(Xn ) < +1, alors la convergence a lieu
presque sûrement.

Exercice 0.15. 1. Soit U une v.a. uniformément répartie sur [0, 1] et (Un )(n 0) une
suite de v.a. indépendantes ayant chacune la même loi que U . Soit d’autre part Y
une v.a. exponentielle de paramètre 1 (ayant donc comme densité exp( x)1R+ (x) ).
Pour tout n 1, on pose Zn = n min{U1 , . . . , Un }. Monter que Zn converge en loi
vers Y .
2. Soit maintenant X une v.a. à valeurs dans [0, 1[ et (Xn )(n 1) une suite de v.a.
indépendantes ayant chacune la même loi que X. Montrer que
(a) Si P {X > x} = o(1/x) lorsque x ! +1 alors

1
Zn = max{X1 , · · · , Xn }
n
converge en loi vers 0.
(b) Si P {X > x} ⇠ ↵/x lorsque x ! +1, avec ↵, > 0 alors

1
Zn = max{X1 , · · · , Xn }
n1/
converge vers une variable aléatoire dite de Fréchet, dont la fonction de répartition
est donnée par P {Y  t} = exp( ↵t )1R+ (t).

Exercice 0.16 (Lemme de Slutsky). Montrer que si Xn converge en loi vers X, et si Yn

converge en loi vers une constante c (montrer qu’elle converge alors en probabilité), alors
le couple (Xn , Yn ) converge en loi vers le couple (X, c).
Donner un contre exemple où Xn converge en loi vers X, Yn converge en loi vers Y
(v.a. non constante), mais où le couple (Xn , Yn ) ne converge pas en loi.

6
Exercice 0.17. Soit (Xn , n 1) une suite de variables aléatoires réelles intégrables
convergeant presque sûrement vers une variable aléatoire X intégrable. On suppose de
plus que E(|Xn |) ! E(|X|) quand n ! 1. Montrer que la suite (Xn ) converge vers X
dans L1 .

Exercice 0.18. Soient X1 , X2 , . . . des variables aléatoire réelles indépendantes, de loi

exponentielle de paramètre 1.
1. Montrer que pour tout k 1, P(il existe une infinité de n tel que Xn k) = 1.
2. En déduire que p.s. lim supn!1 Xn = +1.
Qn
On pose Yn := i=1 Xi .
3. Que vaut E[Yn ] ?
p p p
4. Montrer que E[ X1 ] = ⇡/2. En déduire la valeur de E[ Yn ].
p
5. Montrer que, pour tout t > 0, P(Yn t)  p1t ( ⇡/2)n .
6. En déduire que p.s. limn!1 Yn = 0.

Autour de la marche aléatoire simple sur Z

Dans les exercices qui suivent, (Xn , n 1) est une famille de variables aléatoires
Pn i.i.d.
telle que P(X1 = 1) = p, P(X1 = 1) = 1 p, 0 < p < 1. On pose S0 = 0 et Sn = k=1 Xk
pour n 1.

Exercice 0.19. 1. Pour n 1, calculer P(Sn = 0).

P
2. Etudier n 1 P(Sn = 0). Que peut-on en conclure ?
3. Si p 6= 1/2, retrouver cette conclusion en utilisant la LGN (loi des grands nombres).

Exercice 0.20. On suppose que p = 1/2, et on cherche à montrer que presque sûrement,
on a lim sup Sn = +1 et lim inf Sn = 1.
1. Pour K 1, on considère les événements

An = XnK+1 = · · · = X(n+1)K = +1 n 1.

Montrer que pour tout K, P-p.s. An est réalisé infiniment souvent.

2. En déduire que pour tout K, P K/2 < Sn < K/2 pour tout n 1 = 0, puis
que
P {lim sup Sn = +1} [ {lim inf Sn = 1} = 1 .
3. Montrer que l’événement {lim sup Sn = +1} appartient à la tribu queue Q1 , et
utiliser la loi du 0-1 de Kolmogorov pour conclure que P lim sup Sn = +1 = 1.

Exercice 0.21. On suppose de nouveau dans cette question que p = 1/2, et on pose
Mn = max0in {Si }.

7
 1. Soit k 2 Z, et y k, y 1. Montrer que P(Sn = k, Mn y) = P(Sn = 2y k).
Indication : on pourra introduire le temps ⌧ = inf{i; Si = y}, et utiliser un argument dit de
réflexion (faire un dessin).
2. En déduire que P(Mn y) = 2P(Sn y) P(Sn = y) pour tout y 1.
3. On pose M1 = limn!1 Mn . Montrer que pour tout y 1, P(M1  y) = 0.
p
On admettra qu’il existe une constante C > 0 telle que P(Sn = y)  C/ n pour tout n, y 1
(pas si dur, mais calculatoire).
4. En déduire que P(M1 = +1) = 1 (on a retrouvé le résultat de la question
précédente).
Exercice 0.22. On prend p = 1/2 de nouveau. On note T0 = inf{n 1; Sn = 0}, et
fn = P(T0 = n), un = P(Sn = 0) (u0 = 1).
1. Montrer que pour tout n 1

u n = f 1 un 1 + · · · + f n u0 .
+ f 2 un 2
P P
2. On considère les fonction génératrices F (s) = n 1 fn sn et U (s) = n 0 un sn pour
s 2 [0, 1[. Montrer que U (s) = 1 + U (s)F (s).
3. Calculer un pour tout n, puis calculer U (s). En déduire F (s), puis la valeur de fn
pour tout n.

Exercices supplémentaires
Exercice 0.23. 1. Une urne contient N boules numérotées de 1 à N . On tire succes-
sivement sans remise n boules de l’urne (1  n  N ). Quel est l’ensemble ⌦ des
résultats possibles ? Calculer card(⌦), le cardinal de ⌦.
2. Désormais, on suppose que les résultats possibles sont équiprobables. Les boules
numérotées de 1 à M sont rouges (M < N ) et les boules numérotées de M + 1 à
N sont blanches. On introduit les événements Ak , 1  k  n, définis par Ak =
{la k-ième boule tirée est rouge}.
(a) Calculer les P(Ak ).
(b) Calculer, pour k 6= `, les P(Ak \ A` ).
3. On introduit les variables aléatoires Zk , 1  k  n, définies par Zk = 1 si la k-ième
boule tirée est rouge, et Zk = 0 sinon. On pose Sn = Z1 + · · · + Zn . On note p le
rapport M/N .
(a) Calculer Var(Sn ) en fonction de n et p.
(b) Calculer la limite de Var(Sn ), n fixé, quand M et N tendent vers l’infini de
telle sorte que p tende vers un réel p0 , 0 < p0 < 1.
Exercice 0.24. Montrer qu’une suite de variables aléatoires (Xn , n 1) converge en
probabilité vers une variable aléatoire X si et seulement si
⇣ |X X| ⌘
n
lim E = 0.
n!1 1 + |Xn X|

8
Exercice 0.25. 1. Soient X1 , · · · , Xn , · · · des variables aléatoires réelles i.i.d. telles
que E(X14 ) < 1. On pose Zn = (X1 + · · · + Xn )/n. Montrer que Zn tend vers
E(X1 ) p.s. quand n tend vers l’infini (on demande en fait de démontrer dans un cas
particulier la loi forte des grands nombres : cf. exercice 17 qui suit).
2. Établir que, pour toute fonction continue f de [0, 1] dans R, on a
Z 1 Z 1 ✓ ◆
x1 + x2 · · · + xn 1
lim ··· f dx1 · · · dxn = f ( ) .
n!1 0 0 n 2

3. En déduire que
n
X ✓ ◆
k
lim Cnk k
p (1 p) n k
f = f (p) , p 2 [0, 1].
n!1
k=0
n

4. Établir que, pour toute fonction continue et bornée f de R+ dans R

X k
✓ ◆
n ( n) k
lim e f = f( ) , 2 ]0, 1[ .
n!1
k 0
k! n

Exercice 0.26. Soit (Xn , n 1) une suite de variables aléatoires réelles i.i.d. On suppose
que E(|X1 |) < 1. On pose, pour n 1,

Sn = X1 + · · · + Xn ,
Yn = max(S1 a, S2 2a, · · · , Sn na) ,
Yn = max(S2 S1 a, S3 S1 2a, · · · , Sn+1 S1 na) ,
Y = sup(S1 a, S2 2a, · · · , Sn na, · · · ) ,
Y = sup(S2 S1 a, S3 S1 2a, · · · , Sn+1 S1 na, · · · ) .

1. Montrer que les suites (Yn , n 1) et (Y n , n 1) ont même loi, c’est-à-dire que
pour tout m 1, les vecteurs aléatoires (Yn , 1  n  m) et (Y n , 1  n  m) ont
même loi. En déduire que P(Y = 1) = P(Y = 1).
2. Déduire de la loi 0–1 de Kolmogorov que P(Y = 1) = 0 ou 1.
3. Prouver la relation Yn+1 Y n = max(X1 a Y n , X1 a).
4. En déduire que E(X1 ) < a implique Y < 1 p.s.
5. (Loi forte des grands nombres) Conclure que Sn
n
! E(X1 ) p.s. quand n ! 1.

9
10
Chapitre 1

Espérance conditionnelle

Sauf mention du contraire, toutes les variables aléatoires sont définies sur l’espace de
probabilité (⌦, F , P).

Généralités et calculs
Exercice 1.1. (Questions de cours)
Soient A un événement et X une variable aléatoire réelle positive, resp. intégrable.
1. Soit B 2 F tel que l’on ait P(B) > 0 et P(B c ) > 0. On introduit la sous-tribu G
de F définie par G = {⌦, ?, B, B c }. Donner
- les probabilités conditionnelles de A sachant B, de A sachant B c .
- la probabilité conditionnelle de A sachant G .
- l’espérance conditionnelle de X sachant B, de X sachant B c .
- l’espérance conditionnelle de X sachant G .
2. Soit (B1 , B2 , · · · , Bk , · · · ) une partition dénombrable (finie ou infinie) de ⌦ dans F
telle que P(Bk ) > 0, 8k. Soit G := (B1 , B2 , · · · , Bk , · · · ). Donner
- la probabilité conditionnelle de A sachant G .
- l’espérance conditionnelle de X sachant G .
3. Soit Y une variable aléatoire réelle discrète prenant les valeurs y1 , y2 , · · · , yk , · · ·
Donner
- la probabilité conditionnelle de A sachant Y .
- l’espérance conditionnelle de X sachant Y .
Exercice 1.2. Soit (Xn )n 1 une famille de variables aléatoires réelles indépendantes,
de même loi et d’espérance µ = E[X1 ]. Soit N une variable
PN aléatoire à valeurs dans
N, indépendante de la famille (Xn )n 1 . On pose S = i=1 Xi (si N = 0, on pose par
convention S = 0).
1. Pour n 2 N, calculer E[S | N = n]. En déduire E[S | N ] puis E[S].
2. Pour r 2 [0, 1], calculer E[rS | N ] en fonction de X1 (r) = E[rX1 ]. En déduire la
fonction génératrice de S en fonction de celle de X1 et de celle de N .
Exercice 1.3. Le nombre de bus passant à l’arrêt Jussieu lors de la prochaine heure,
que l’on note N , est une variable de Poisson de paramètre . Étant donné N , les temps

11
de passage des bus (en heure) sont T1 , T2 , . . . , TN , qui sont N variables indépendantes,
uniformément distribuées sur [0, 1]. On note T = min{T1 , . . . , TN } le temps d’attente du
prochain bus.
1. Calculer P(T > t | N = n) pour t 2 [0, 1].
2. Montrer que E[T | N = n] = 1
n+1
, et en déduire E[T | N ].
3. En déduire E[T ].

Exercice 1.4. Soient X1 et X2 des variables aléatoires indépendantes et binomiales de

paramètres respectifs (n1 , p) et (n2 , p).
1. Déterminer P(X1 = k | X1 + X2 = n).
2. Déterminer l’espérance conditionnelle E(X1 | X1 + X2 ).
3. Mêmes questions en supposant que X1 et X2 sont des variables aléatoires indépendantes,
de loi de Poisson de paramètres respectifs 1 et 2 .

Exercice 1.5. Soient X et Y des variables aléatoires réelles, Z une variable aléatoire à
valeurs dans un espace mesurable (E, E ) et G une sous-tribu de F . Que peut-on dire,
sous réserve d’hypothèses convenables, des espérances conditionnelles suivantes :
1. E(f (Z) | Z) avec f : (E, E ) ! (R, B(R)) mesurable ;
2. E(X | Z) avec X (Z)-mesurable, E(X | G ) avec X G -mesurable ;
3. E(XY | Z) avec X (Z)-mesurable, E(XY | G ) avec X G -mesurable ;
4. E(X | Z) quand X et Z sont indépendantes, E(X | G ) quand X et G sont indépendantes ;
5. E(E(X | Z)), E(E(X | G )).

Exercice 1.6. Soit X une variable aléatoire réelle de carré intégrable et soit G une sous-
tribu de F . Que peut-on dire de X si (E(X | G ))2 = E(X 2 | G ) p.s. ?

Exercice 1.7. Soient X1 et X2 des variables indépendantes à valeurs dans des espaces
mesurés E1 et E2 respectivement, de lois respectives ⌫1 et ⌫2 . Soit f : E1 ⇥ E2 ! R une
fonction mesurable bornée (resp. positive).
1. Montrer que Z
E[f (X1 , X2 ) | X1 ] = f (X1 , u)d⌫2 (u) p.s.
E2

2. Soit Z une v.a. à valeurs

P dans [0, 1] et soit N une v.a. à valeurs dans N de fonction
génératrice (x) = n2N P(N = n)xn . Montrer que E(Z N |Z) = (Z) p.s.
3. Soient X et U deux v.a. réelles indépendantes. Montrer que E(1U X |X) = F (X) p.s.
avec F fonction de répartition de U . Exprimer également la quantité E(exp(21U X )|X)
à partir de F (X).

Exercice 1.8. Soient X et Y deux variables aléatoires réelles indépendantes de loi uni-
forme sur [0, 1]. Quelle est l’espérance conditionnelle de (Y X)+ sachant X ?

12
Exercice 1.9 (Partiel 2017). Soient et µ sont deux réels strictement positifs, et soient
X et Y deux v.a. à valeurs dans N et R+ respectivement telles que, pour tout n 2 N et
tout t 2 R+ , Z t
( y)n ( +µ)y
P(X = n, Y  t) = µ e dy .
0 n!
1. Quelle est la loi marginale de X ? Quelle est celle de Y ?
R1
On rappelle que pour tout a > 0 et n 1, 0
an+1 y n e ay
dy = n! .
2. Calculer E [Y |X].
⇥ Y ⇤
3. Calculer E X+1 .
4. Calculer P (X = n|Y ) = E [1X=n |Y ] ainsi que E [X|Y ].

Exercice 1.10. Soient X1 et X2 des variables aléatoires indépendantes, de lois exponen-

tielles de même paramètre .
1. Calculer E[max(X1 , X2 ) | X1 ].
2. Calculer E[max(X1 , X2 )].
3. Calculer E[max(X1 , X2 ) | X1 + X2 ].
4. Calculer E[X1 | min(X1 , X2 )].

Exercice 1.11 (Partiel 2016). Soit ↵ > 0. Soient B et U deux variables indépendantes
telles que U est uniforme sur l’intervalle ]0, 1[, et B est à valeurs positives et B ↵ est
intégrable. On définit la variable C par

C = f (B, U ) = 2U (B + U 2 )↵ .

Justifier que C est intégrable et calculer E(C|B).

Exercice 1.12. Soit X une variable aléatoire réelle intégrable. On suppose que la loi de
X est symétrique (c’est-à-dire, X a la même loi que X), et pose Y = |X|.
1. Montrer que E(X | Y ) = E(X) p.s.
2. Les variables aléatoires X et Y sont-elles indépendantes ?

Exercice 1.13. Soient X et Y des variables aléatoires réelles intégrables, et soit G une
sous-tribu de F . Montrer que si X = Y p.s., alors E(X | G ) = E(Y | G ) p.s.

Exercice 1.14. Soient X et Y des variables aléatoires réelles intégrables, et soit G une
sous-tribu de F .
(i) Montrer que E(X | G )  E(Y | G ) p.s., si et seulement si E(X 1A )  E(Y 1A ) pour
tout A 2 G .
(ii) Montrer que E(X | G ) = E(Y | G ) p.s., si et seulement si E(X 1A ) = E(Y 1A ) pour
tout A 2 G .

Exercice 1.15. Soit X une variable aléatoire réelle intégrable. Soient Z et Ze des variables
e Ee), respectivement. On suppose que E(X | Z, Z)
aléatoires à valeurs dans (E, E ) et (E, e
est (Z)-mesurable. Montrer que E(X | Z, Z) e = E(X | Z) p.s.

13
Variables gaussiennes
Exercice 1.16. Soient X1 , X2 , X3 trois variables aléatoires réelles gaussiennes centrées
réduites indépendantes. On pose U = 2X1 X2 X3 , V = X1 + X2 + X3 , W = 3X1 +
X2 4X3 .
1. Quelles sont les lois de U , V et W ? Quels sont les couples indépendants parmi les
couples (U, V ), (U, W ), (V, W ) ?
2. Montrer qu’il existe a 2 R tel que W = aU + Z avec U et Z indépendantes. En
déduire E(W | U ), E(W 2 | U ) et E(W 3 | U ).
Exercice 1.17. Soient X et Y deux variables aléatoires réelles gaussiennes centrées
réduites indépendantes. On pose Z = X + Y , W = X Y .
1. Montrer que Z et W sont indépendantes. Quelle est la loi de W ?
2. En déduire l’espérance conditionnelle de X sachant Z.
3. Calculer E(XY | Z) et E(XY Z | Z).
Exercice 1.18 (Partiel 2016). Soient X et Y deux variables aléatoires normales centrées
réduites N (0, 1) indépendantes. On pose Z = X + 2Y . Montrer qu’il existe un unique a
tel que X = aZ + W avec W indépendant de Z. En déduire l’expression de E(X|Z) et
E(X 2 |Z).
Exercice 1.19. Soit Z = (X, Y ) un vecteur aléatoire gaussien à valeurs dans R2 . On
suppose que E(X) = E(Y ) = 0, Var(X) p = Var(Y ) = 1 et que Cov(X, Y ) = ⇢ avec
|⇢| < 1. On pose U = X ⇢Y , V = 1 ⇢2 Y .
1. Calculer E(X | Y ).
2. Quelles sont les lois de U et V ? Les variables aléatoires U et V sont-elles indépendantes ?
3. Calculer E(U 2 V 2 ), E(U V 3 ), E(V 4 ). En déduire E(X 2 Y 2 ).
Exercice 1.20. Soit (X1 , X2 ) un couple de variables aléatoires admettant la densité de
probabilité
✓ ◆
1 1 2 2
f (x1 , x2 ) = p exp (x 2⇢x1 x2 + x2 ) ,
2⇡ 1 ⇢2 2(1 ⇢2 ) 1
où ⇢ 2 [0, 1[.
1. Vérifier que f est une densité de probabilité sur R2 et trouver les densités margi-
nales de X1 et X2 . A quelle condition les variables aléatoires X1 et X2 sont-elles
indépendantes ?
p
2. On intoduit les coordonnées polaires (R, ) du couple (X1 , X2 ) : R = X12 + X22
et 2 [0, 2⇡[ est définie par
X1 X2
cos = et sin = si R > 0, = 0 si R = 0.
R R
Déterminer la densité du couple (R, ), puis celle de .
3. Déterminer la densité de R lorsque ⇢ = 0. Que peut-on dire des variables aléatoires
R et dans ce cas ?

14
Chapitre 2

Filtration, temps d’arrêt et

martingales

On rappelle les notations

s ^ t := min{s, t}, s _ t := max{s, t}, s, t 2 R.

Sauf mention du contraire, toutes les martingales sont définies sur l’espace de probabilité
filtré (⌦, F , (Fn ), P).

2.1 Filtrations, temps d’arrêt, martingales

Exercice 2.1. Soient (⌦, F , (Fn ), P) un espace de probabilité filtré, T et S deux temps
d’arrêt, FT et FS les tribus respectives des événements antérieurs à T et S. Montrer que
(cf. cours)
1. S ^ T , S _ T , S + T sont des temps d’arrêt.
2. Si T est un temps d’arrêt constant (T = p avec p 2 N), alors FT = Fp ,
3. Si S  T , FS ⇢ FT ,
4. FS^T = FS \ FT ,
5. {S < T } 2 FS \ FT , {S = T } 2 FS \ FT .
Exercice 2.2. On considère une suite (Xn , n 0) de variables aléatoires définies sur
un espace de probabilité (⌦, F , P), à valeurs dans [0, 1], indépendantes et de même loi
uniforme sur [0, 1]. On pose, pour n 0, Fn = (Xk , k  n). On introduit la variable
aléatoire
T = inf{n 1; Xn > X0 }, = 1 si ?.
1. Montrer que T est un temps d’arrêt de la filtration Fn .
2. Déterminer la loi de T . Calculer son espérance.
Exercice 2.3 (Marche aléatoire et Martingales). Soit (Xi )i 1 une suite de variables
aléatoires i.i.d. de loi P(X1 = +1) = p et P(X1 = 1) = 1 p, et soit la filtration
F0 = {;, ⌦}, Fn = (X1 , . . . , Xn ). On note µ = E[X1 ] et 2 = VarX1 .

15
 1. Montrer que Sn nµ et Mn := (Sn nµ)2 n 2
sont des martingales relativement
à la filtration (Fn )n 0 .
1 p Sn
2. Montrer que p
est une martingale relativement à la filtration (Fn )n 0 .
3. Soit (x) = pex + (1 p)e x , et soit ✓ une solution de l’équation (✓) = 1. Montrer
que e✓Sn / (✓)n est une martingale relativement à la filtration (Fn )n 0 .

Exercice 2.4. Soit (⇠n , n 0), une suite de variables réelles, indépendantes, centrées et
de carrés intégrables : E[⇠n ] = 0 et n2 = E[⇠n2 ] < 1. On pose Sn = ⇠0 + · · · + ⇠n .
1. Montrer que (Sn )n 0 est une martingale relativement à la filtration (Fn )n 0 .
2. Montrer que ⌧ = inf{n ; |Sn | x} est un temps d’arrêt.
3. En utilisant ⌧ , montrer l’inégalité de Kolmogorov :

P max |Si | x x 2
Var(Sn ) ,
0in

valable pour tout réel x > 0 et tout n 2 N. La quantité Var(Sn ) est la variance de
Sn , que l’on calculera en fonction de ( i2 , i 0).

Exercice 2.5. Soit (⇠n , n 0), une suite de variables aléatoires réelles indépendantes,
(p) (p)
intégrables telles que E[⇠n ] = 0, pour tout n 0. On fixe p 1, on pose X0 = X1 =
(p)
· · · = Xp 1 = 0 et pour tout n p, on pose
X
Xn(p) = ⇠ i1 ⇠ i2 · · · ⇠ ip .
1i1 <i2 <···<ip n

(p)
Montrer que (Xn , n 0) est une martingale relativement à la filtration (Fn ), donnée
par Fn = (⇠1 , · · · , ⇠n ) si n 1 et F0 = {?, ⌦}.

Exercice 2.6. Soient (Xn , n 0) et (Yn , n 0) deux sous-martingales. Montrer que

(Xn _ Yn , n 0) est également une sous-martingale.

Exercice 2.7. Trouver une sous-martingale dont le carré n’est pas une surmartingale
(Indication : faire très simple).

Exercice 2.8. On considère l’espace de probabilité filtré (⌦, F , (Fn ), P) où ⌦ = N⇤ :=

{1, 2, · · · }, F = P(N⇤ ) (la tribu de toutes les parties — y compris ? et N⇤ — de N⇤ ),
P({n}) = 1/n 1/(n + 1), Fn = {1}, · · · , {n}, [n + 1, 1[ . On considère la suite de
variables aléatoires réelles Xn = (n + 1) 1[n+1,1[ .
1. Montrer que, pour la filtration (Fn ), (Xn ) est une martingale positive. Vérifier que
Xn ! 0 p.s. Xn converge-t-elle dans L1 ?
2. Quelle est la valeur de supn 0 Xn (k), k 2 N⇤ ? En déduire E supn 0 Xn .

16
Exercice 2.9. Soient (⇠n , n 1) une suite de variables aléatoires réelles indépendantes
de même loi N (0, 1) et (↵n , n 1) une suite de réels. On pose X0 := 1 et F0 := {?, ⌦},
et pour n 1,
⇣X
n
1 X 2⌘
n
Fn = (⇠1 , · · · , ⇠n ) , Xn = exp ↵k ⇠k ↵ .
k=1
2 k=1 k

1. Montrer que (Xn ) est une (Fn )-martingale et que Xn converge p.s.
P
2. On suppose que 1 2
k=1 ↵k = 1. Montrer que limn!1 Xn = 0 p.s. La martingale
(Xn ) est-elle fermée ?
Exercice 2.10. Soient (Xn ) et (Yn ) deux martingales de carré intégrable.
1. Montrer que, pour n m, E(Xm Yn | Fm ) = Xm Ym p.s. et donc en particulier que
E(Xm Xn | Fm ) = Xm Xm p.s.
2. Montrer que, pour m < n  p < q, Cov(Xn Xm , Yq Yp ) = 0.
3. Montrer que
n
X
E((Xn 2
X0 ) ) = E((Xk Xk 1 )2 ).
k=1

Exercice 2.11. 1. Décomposition de Doob. Soit (Xn ) une sous-martingale. Démontrer

que Xn s’écrit de manière unique sous la forme

Xn = Mn + An

où Mn est une martingale et An un processus croissant prévisible, i.e. 0 = A0 

A1  · · · An  · · · et, pour n 1, An est Fn 1 -mesurable. (Indication : introduire
les di↵érences Xk E[Xk |Fn 1 ].)
On appelle cette décomposition décomposition de Doob.
2. Exemple 1. Soit Y1 , Y2 , · · · , Yn , · · · des variables aléatoires réelles i.i.d., définies sur
un espace de probabilité (⌦, F , P). On suppose que E(Y1 ) = 0 et que E(Y12 ) < 1.
On pose X0 = 0, F0 = {⌦, ?} et, pour n 1, Xn = Y1 + · · · + Yn , Fn =
(Y1 , Y2 , · · · , Yn ).
(a) Montrer que (Xn ) est une martingale de carré intégrable et déterminer la
décomposition de Doob de la sous-martingale (Xn2 ) (on posera 2 = E(Y12 )).
(b) Soit T un temps d’arrêt (pour la filtration Fn ) intégrable. Montrer que supn E(XT2 ^n ) <
1. En déduire que E(XT2 ) = E(T ) 2 .
3. Exemple 2. On garde les hypothèses et notations précédentes. On suppose en parti-
culier que les variables aléatoires Yn ont pour loi commune : P(Yn = 1) = P(Yn =
1) = 1/2.
On pose
X n
M0 = 0 et, pour n 1, Mn = sgn(Xk 1 )Yk
k=1

où sgn(x) = 1 si x > 0, = 1 si x < 0, = 0 si x = 0.

17
 (a) Montrer que (Mn ) est une martingale de carré intégrable et déterminer la
décomposition de Doob de la sous-martingale (Mn2 ) ?
(b) Quelle est la décomposition de Doob de la sous-martingale (|Xn |, n 0) ?
(c) Montrer que pour tout n 1, Mn est (|X1 |, · · · , |Xn |)-mesurable.

Exercice 2.12. On considère l’évolution du capital d’une assurance au cours du temps.

Soit S0 = x > 0, le capital initial, c > 0 le montant des revenus des cotisations par an et
Xn 0 le coûtPdes dommages pour l’année n. Le capital à la fin de l’année n est donc
n
Sn = x + nc k=1 Xk . L’assurance est dite ruinée si son capital devient négatif, i.e., si
⌧ = inf{k 0; Sk < 0} est fini.
On suppose (Xk , k 1) i.i.d. positives avec E(e Xk ) < 1, 8 > 0. Le but ici est de
majorer la probabilité de ruine P(⌧ < 1). On pose Fn := (X1 , · · · , Xn ).
1. Vérifier que E(X1 ) > c implique P(⌧ < 1) = 1.
2. On suppose dorénavant que E(X1 ) < c et P(X1 > c) > 0. Soit '( ) := E(e (X1 c)
),
2 R. Montrer que '00 > 0, '0 (0) < 0 et

lim '( ) = 1.
!1

Dessiner le graphe de ' et montrer qu’il existe un et un seul 0 > 0 tel que E(e 0 X1
)=
e 0c.
3. Montrer que Vn = exp( 0 Sn + 0 x) est une martingale positive.
4. Pour N 1 montrer que
N
X
E(VN 1{⌧ N } ) = E(Vk 1{⌧ =k} ) e 0x
P(⌧  N ).
k=1

5. En déduire que P(⌧ < 1)  e 0x

.

Exercice 2.13 (Examen 2016). Soit (⇠n )n 1 une suite de variables aléatoires réelles
indépendantes et iden- tiquement distribuées. On suppose qu’il existe un réel t > 0 tel
que E[et⇠1 ] = 1. Soit x > 0 un réel. Montrer que

P 9n 0 tel que ⇠1 + · · · + ⇠n x e tx
.

Indication : utiliser le temps d’arrêt ⌧ = inf{n; ⇠1 + · · · + ⇠n x}, et une martingale adaptée.

Théorèmes d’arrêt
Exercice 2.14. (Partiel 2016) Soit (Xi )i 1 une suite de variables aléatoires i.i.d. de loi
P(X1 = +1) = P(X1 = 1) = 1/2, et soit la filtration F0 = {;, ⌦}, Fn = (X1 , . . . , Xn ).
On fixe un entier N 1, et pour x 2 P
{0, . . . , N }, on considère la marche aléatoire issue
de x : S0 = x et pour n 1 Sn = x + nk=1 Xi .

18
 1. Montrer que Sn et Mn := Sn2 n sont des martingales relativement à la filtration
(Fn )n 0 .
2. On considère le temps T := inf{n ; Sn = 0 ou Sn = N }. Montrer que T est un temps
d’arrêt.
3. Pour m 0, on introduit l’événement Am = {XmN +1 = · · · = X(m+1)N = +1}.
Tq 1 c
Montrer que pour q 1, {T > qN P} ⇢ m=0 Am , et en déduire une majoration de
P(T > qN ). Montrer que E[T ] = j 0 P(T > j) < +1 et que T < +1 p.s.
4. Calculer E[ST ] et en déduire que P(ST = 0) = 1 x/N .
5. Calculer E[MT ] et en déduire E[T ].

Exercice 2.15. (Un jeu de cartes à un seul joueur). On prend un jeu de 52 cartes, on les
retourne une à une ; le joueur peut, une et une seule fois au cours du jeu, dire “rouge la
prochaine !”, il gagne si la carte suivante est rouge, sinon il perd. On se demande quelles
sont les stratégies de jeu qui optimisent la probabilité de victoire.
1. Soit Rn (pour 0  n  51) le nombre de cartes rouges encore dans le jeu après
avoir retourné n cartes. Soit An l’événement {la n-ième carte retournée est rouge}.
Calculer P(An+1 | Rn = j), pour j 2 {0, · · · , 26}, n 2 {0, · · · , 50}.
2. Calculer P(Rn+1 = j | Rn ) = P(Rn+1 = j | Fn ), où Fn := (R0 , · · · , Rn ), n 2
{0, · · · , 50}, j 2 {0, · · · , 26}. Montrer que

Rn
E(Rn+1 | Fn ) = Rn , n = 0, · · · , 50.
52 n

Montrer que Xn := Rn /(52 n), n = 0, · · · , 50, est une martingale par rapport à la
filtration (Fn ) et que Xn = P(An+1 | Fn ).
3. On définit ⌧ = n 2 {0, · · · , 51} si le joueur dit “rouge la prochaine !” avant de
retourner la (n + 1)-ième carte. Montrer que ⌧ est un temps d’arrêt et que la proba-
bilité de victoire est E(X⌧ ). Montrer que, pour toute stratégie, la probabilité p de
victoire dans ce jeu est toujours la même et calculer p.

Exercice 2.16. Soit (⇠n , n 1) une suite de variables aléatoires i.i.d. telle que P(⇠1 =
1) = P(⇠1 = 1) = 1/2. La variable aléatoire ⇠n s’interprète comme un pari qui est gagné
si ⇠n = 1 et qui est perdu si ⇠n = 1. A l’étape n du jeu, un joueur mise une certaine
somme Sn > 0, il remporte 2Sn (en faisant ainsi un gain de Sn ) si ⇠n = 1 (il gagne le pari)
et perd sa mise si ⇠n = 1 (il perd le pari). On pose X0 = S0 = 0 et F0 = {?, ⌦} et pour
tout n 1, on pose

X n = S 1 ⇠ 1 + · · · + Sn ⇠ n et Fn = (⇠1 , · · · , ⇠n ) .

La variable aléatoire Xn représente le gain algébrique du joueur après la n-ième partie.

Comme le joueur ne devine pas l’avenir, Sn ne dépend que de (⇠1 , · · · , ⇠n 1 ), c’est-à-dire
que (Sn , n 1) est (Fn )-prévisible. On suppose que pour tout n 1, Sn est intégrable.
1. Montrer que (Xn , n 0) est une (Fn )-martingale.

19
 2. Le joueur adopte la stratégie suivante : à chaque pari qu’il perd, le joueur double la
mise pour le pari suivant. Il arrête de jouer lorsqu’il gagne au moins une fois. On
suppose qu’il part d’une mise initiale de deux euros. On a alors Sn = 2n . On note
T la première fois où le joueur gagne.
T = inf{n 1 : ⇠n = 1}.
Montrer que P(T < 1) = 1. Calculer le gain moyen du joueur, c’est-à-dire E[XT ]. Si
cela vous semble merveilleux, calculez E[XT 1 ] qui est la perte moyenne du joueur
juste avant qu’il ne gagne. Que pensez-vous de cette stratégie ?
3. On suppose que le joueur ne dispose que d’une réserve d’argent égale à 2n0 euros
(avec n0 2) et que les mises doivent être payées comptant, ce qui force le joueur à
quitter le jeu (éventuellemment avec des dettes) lorsqu’il n’a plus d’argent. Il choisit
prudemment de s’arrêter la première fois qu’il gagne. Quelle est la probabilité qu’il
termine le jeu avec des dettes ? Si on ne joue qu’une fois à ce jeu dans sa vie, faut-il
jouer ? Quelle est le gain (algébrique) moyen ?
Exercice 2.17 (Partiel 2017). Soit (Zn ) une suite de variables aléatoires i.i.d. avec
P (Zn = 1) = P (Zn = 1) = 1/2. Soit S0 = 0 et Sn = Z1 + · · · Zn pour n 1. On
définit F0 = {⌦, ;} et Fn = (Z1 , · · · , Zn ) pour n 1.
Soit a 2 N⇤ et tel que 0 < < 2a ⇡
. Enfin, on définit ⌧ = inf{k 2 N : |Sk | = a} le
temps de sortie de l’intervalle ] a, a[.
1. Monter que ⌧ est un temps d’arrêt.
2. Montrer que Xn = (cos( )) n cos( Sn ) est une martingale.
3. Montrer que E(Xn^⌧ ) cos( a)E(cos( ) n^⌧ ).
4. Monter que E(cos( ) ⌧ )  (cos( a)) 1 et que ⌧ < 1 p.s..
5. Montrer que la martingale (Xn^⌧ ) est fermée.
6. Que vaut E(cos( ) ⌧ ) ? Est-il vrai que ⌧ appartienne à Lp pour tout p 1 ?

Convergence de martingales
Exercice 2.18. Soient Y1 , Y2 , · · · des variables aléatoires i.i.d. telles que
P(Y1 = 1) = q, P(Y1 = 1) = p, avec p + q = 1, 0 < p < q < 1.
⇣ q ⌘X n
On pose X0 = 0, Z0 = 1, et pour n 1, Xn = Y1 + · · · + Yn , Zn = .
p
1. Montrer que (Zn ) est une martingale positive. Montrer que Zn ! 0 p.s.
2. On pose, pour k 2 N⇤ , Tk = inf{n 0 ; Xn k}. En considérant la martingale
(ZTk ^n ) et la décomposition
ZTk ^n = ZTk ^n 1{Tk <1} + ZTk ^n 1{Tk =1} ,
montrer que
⇣ p ⌘k
P(Tk < 1) = .
q

20
 3. En déduire que supn 0 Xn suit une loi géométrique de paramètre 1 p/q, et ainsi
que
p
E(sup Xn ) = .
n 0 q p

Exercice 2.19. Soient Y1 , Y2 , · · · des variables aléatoires i.i.d. telles que P(Y1 = 1) = p,
P(Y1 = 1) = q = 1 p, avec 0 < p < 1. On pose

S0 = 0 , S n = Y1 + · · · + Yn , n 1, Fn = (S0 , · · · , Sn )

et, pour tout ✓ réel ,

e✓Sn
(✓) = E(e✓Y1 ) , Xn = .
(✓)n
1. Donner le tableau de variation de la fonction ✓ 7! (✓).
2. Montrer que (Xn ) est une martingale et que, dans le cas où ✓ 6= 0, Xn converge p.s.
vers 0.
3. Soit T = inf {n > 0; Sn = 1}. Montrer que, pour ✓ > max(0, ln(q/p)), E (✓) T
1{T <1} =
e ✓ , en déduire que P(T < 1) = 1 si p q, P(T < 1) = p/q si p < q, et
p
1 1 4pqs2
E sT 1{T <1} = (0  s  1).
2qs

Exercice 2.20. Soit ( n , n 1) une suite i.i.d. telle que P( n = 1) = P( n = 1) = 12 .

Introduire une martingale opportune pour montrer la convergence p.s. de la série
1
X n
.
n=1
n

Exercice 2.21. On considère un jeu de hasard entre un joueur et le croupier d’un casino.
Le capital total en jeu est 1 : après la n-ième partie le capital du joueur est Xn 2 [0, 1]
et le capital du croupier est 1 Xn . Au début le capital du joueur est une constante
X0 = p 2]0, 1[ et le capital du croupier est 1 p.
La règle du jeu est que, après les n premières parties, la probabilité pour le joueur de
gagner l’(n + 1)-ième partie est Xn , et la probabilité de perdre est 1 Xn ; si le joueur
gagne, il obtient la moitié du capital du croupier ; s’il perd, il cède la moitié de son capital
au croupier.
Ce qui se traduit en formule : pour toute f : [0, 1] 7! R borélienne bornée,
✓ ◆ ✓ ◆
1 Xn Xn
E (f (Xn+1 ) | Fn ) = Xn · f Xn + + (1 Xn ) · f , (⇤)
2 2

où (Fn ) est la filtration naturelle de (Xn ).

1. Prouver que (Xn ) est une martingale.
2. Prouver que Xn converge p.s. et dans L2 vers une variable Z.
3. Prouver que E(Xn+1
2
) = E(3Xn2 + Xn )/4. En déduire que E(Z 2 ) = E(Z) = p.

21
 4. Prouver que toute variable aléatoire W , telle que 0  W  1 et E(W (1 W )) = 0,
est une variable aléatoire de Bernoulli. En déduire la loi de Z.
5. Pour tout n 0, soit Yn := 2Xn+1 Xn . Montrer, à l’aide de la formule (⇤), que

P(Yn = 0 | Fn ) = 1 Xn , P(Yn = 1 | Fn ) = Xn ,

et en déduire la loi de Yn .
6. Considérer les événements Gn := {Yn = 1}, Pn := {Yn = 0}. Prouver que Yn !n Z
p.s. et en déduire que
⇣ ⌘ ⇣ ⌘
P lim inf Gn = p, P lim inf Pn = 1 p.
n!1 n!1

Les variables aléatoires Yn , n 0, sont-elles indépendantes ?

7. Quelle est l’interprétation des résultats des points 4, 5 et 6 en termes de vic-
toire/perte du joueur ?
Exercice 2.22. On a une population de taille fixée N 2 N⇤ qui se renouvelle entièrement
à chaque génération et dont chaque individu est de type a ou A. Chaque individu de
la génération n + 1 choisit son (seul) parent de la génération n de façon uniforme et
indépendante des autres individus et hérite le type du parent.
On note Xn le nombre d’individus de type a dans la génération n et Fn := (X0 , · · · , Xn ).
On a alors P(Xn+1 = i | Fn ) = CNi ( XNn )i (1 XNn )N i , pour tout i 2 {0, · · · , N }. On sup-
pose que p.s. X0 = k 2 {0, · · · , N }.
1. Montrer que (Xn , n 0) est une martingale et discuter la convergence de Xn vers
une variable X1 quand n ! 1.
N n
2. Montrer que Mn := N 1
Xn (N Xn ) est une martingale.
3. Calculer E(X1 ) et E(X1 (N X1 )).
4. Calculer la loi de X1 et commenter.
Exercice 2.23 (Urne de Polya à deux couleurs). On considère qu’une urne contient, à
l’instant 0, b boules blanches et a boules rouges. On suppose que l’on dispose, à côté,
d’un stock illimité de boules blanches et de boules rouges. A l’étape 1, on tire une boule
au hasard dans l’urne : si elle est blanche, on remet cette boule en y ajoutant une boule
blanche prise dans le stock ; si la boule tirée est rouge, on la remet et on y ajoute une
boule rouge prise dans le stock. On fait de même à l’étape 2, 3 ... etc, en supposant qu’à
chaque étape les tirages sont uniformes et indépendants. On note Bn le nombre de boules
blanches à l’instant n, d’où il y a au total a + b + n boules dans l’urne. La proportion de
boules blanches à l’instant n est notée Xn = Bn /(a + b + n). Pour tout n 2 N, on pose
Fn = (B0 , · · · , Bn ).
1. Montrer que (Xn , n 0) est une (Fn )-martingale positive avec |Xn |  1, 8n 0.
En déduire que la limite limn!1 Xn = X1 a lieu presque sûrement et dans Lp , pour
tout p 2 [1, 1[.
2. Montrer que la limite X1 vérifie P(X1 = 0) < 1 et P(X1 = 1) < 1. Qu’est-ce-que
cela signifie sur la coloration de l’urne au cours du temps et asymptotiquement ?

22
 3. On fixe k 2 N, et pose, pour tout n 0,
Bn (Bn + 1) · · · (Bn + k 1)
Yn(k) = .
(a + b + n)(a + b + n + 1) · · · (a + b + n + k 1)
(k) (k)
Montrer que (Yn , n 0) est une (Fn )-martingale positive, avec |Yn |  1, 8n. En
(k) (k)
déduire qu’elle converge p.s. et dans L1 vers une limite notée Y1 . Calculer E[Y1 ]
en fonction de b et de a.
(k)
4. Montrer que Y1 = (X1 )k p.s. En déduire E[(X1 )k ] explicitement en fonction de b
et de a.
5. Soit Z une variable aléatoire à valeurs dans [0, 1] dont la loi admet la densité f (x) =
Ca,b (1 x)a 1 xb 1 par rapport à la mesure de Lebesgue. Trouver la constante Ca,b .
Montrer que E[Z k ] = E[(X1 )k ], pour tout k 2 N. En déduire que Z et X1 ont la
même loi, autrement dit que X1 suit la loi bêta de paramètres a et b.
Exercice 2.24. Soit (Un , n 0) une suite de variables aléatoires i.i.d. telle que P(Un =
1) = p, P(Un = 0) = q = 1 p, 0 < p < 1. On pose

T = inf{n 0 ; Un = 1}, T = 1 si Un = 0 pour tout n 0.

1
Pour n 0 on pose Xn = 1{T >n} .
qn
1. Montrer que (Xn ) est une martingale (on précisera la filtration (Fn )).
2. Montrer que Xn converge p.s. vers 0.
3. A-t-on supn E(|Xn |) < 1 ? A-t-on supn E(Xn2 ) < 1 ?
4. La martingale (Xn ) est-elle fermée ?
p
5. La suite Yn = Xn est-elle uniformément intégrable ?
Exercice 2.25. Soit X une variable aléatoire réelle de loi N (0, 2 ), avec 2 2 ]0, 1[. Pour
tout k 2 N, soit ⌘k une variable aléatoire de loi N (0, "2k ), avec "k > 0. On suppose que
X, ⌘0 , ⌘1 , · · · sont indépendantes. On définit Yk = X + ⌘k , k 2 N et Fn = (Y0 , · · · , Yn ),
n 2 N, F1 = (Yn , n 0).
Nous essayons de mesurer une quantité aléatoire X avec une suite indépendante
d’expériences. L’expérience k donne comme résultat Yk = X + ⌘k , où ⌘k est une erreur
qui dépend de la précision des instruments. Après n expériences, la meilleure prévision
possible sur X est
Xn := E(X | Fn ) = E(X | Y0 , · · · , Yn ).
On se demande s’il est possible d’obtenir la valeur de X quand n tend vers l’infini, et
notamment si Xn converge vers X.
1. Montrer que (Xn ) est une martingale et que Xn converge p.s. et dans L1 vers une
variable aléatoire X1 . Quelle est la relation entre X et X1 ?
2. Montrer que supn E(Xn2 ) < 1. Montrer que les trois propriétés suivantes sont
équivalentes :
a) Xn ! X dans L2 ; b) Xn ! X dans L1 ; c) X est F1 -mesurable.

23
 3. Calculer E(Yi Yj ), E(Yi2 ) et E(XYi ) pour i, j 0, i 6= j. Montrer que pour tous
n 0 et i = 0, · · · , n, on a E(Zn Yi ) = 0, où
2 n
X
Zn := X 2
Pn 2 " j 2 Yj .
1+ k=0 "k j=0

4. Montrer que pour tout n 0 la variable aléatoire Zn est indépendante de {Y0 , · · · , Yn }

et en déduire que Xn = X Zn .
P
5. Calculer E((X Xn )2 ) et montrer que Xn ! X dans L2 si et seulement si limn!1 ni=0 "i 2 =
1.
6. Discuter le cas "i = " > 0 pour tout i 0, notamment les liens avec la loi des grands
nombres.
Exercice 2.26. Soit (Yn , n 0) une suite de variables aléatoires réelles positives définies
sur un espace de probabilité (⌦, F , P) indépendantes et de même espérance 1. On pose,
pour n 0, Fn = (Y0 , · · · , Yn ) et Xn = Y0 · · · Yn .
p
1. Montrer que Xn , resp. Xn , est une (Fn )-martingale, resp. surmartingale.
Q p
2. Montrer que le produit infini 1 k=0 E( Yk ) converge dans R+ . On note ` sa limite.
p
3. On suppose que ` = 0. Montrer que Xn ! 0 p.s. La martingale (Xn ) est-elle
fermée ?
p
4. On suppose ` > 0. Montrer que Xn est une suite de Cauchy dans L2 . En déduire
que (Xn ) est fermée.
5. Application
Soient p et q deux probabilités distinctes sur un ensemble dénombrable E et (Zn )
une suite de variables aléatoires indépendantes à valeurs dans E et de même loi q.
On suppose que, pour tout x 2 E, q(x) > 0 (notations : p(x) := p({x}) et q(x) :=
q({x}), x 2 E). On pose
p(Z0 ) p(Zn )
Xn = ··· .
q(Z0 ) q(Zn )
À partir de ce qui précède, montrer que Xn ! 0 p.s.
Exercice 2.27. On sait (cf. cours) que, pour une martingale (Xn ), E[(supn 0 |Xn |)2 ] 
4 supn 0 E(Xn2 ) : ainsi, si supn 0 E(Xn2 ) < 1, alors, supn 0 |Xn | 2 L2 .
Dans cet exercice on se propose de prouver que, si supn 0 E[|Xn | ln+ (|Xn |)] < 1, alors
supn |Xn | 2 L1 . [Notation : ln+ x := ln max{x, 1}.]
Soit (Xn ) une martingale.
1 1
1. Montrer que, pour u 1, ln u  . En déduire que pour tous réels 0 < x  y, on
u e
a x ln y  x ln x + ye , puis x ln y  x ln+ x + ye , et enfin x ln+ y  x ln+ x + ye .
2. Rappelons la version suivante de l’inégalité maximale : si (Mn ) est une sous-martingale,
alors P(max0kn Mk )  E(Mn 1{max0kn Mk } ) pour tout entier n 0 et
tout réel 0.
À partir de l’inégalité maximale appliquée à la sous-martingale (|Xn |), montrer que
Z 1 Z
P max |Xk | a da  |Xn | ln+ max |Xk | dP.
1 0kn ⌦ 0kn

24
 3. Conclure que
e
E sup |Xn |  1 + sup E(|Xn | ln+ |Xn |) .
n 0 e 1 n 0

Exercice 2.28 (Pour aller plus loin). Le but de cet exercice atypique est de traiter
de manière probabiliste par la théorie des martingales deux questions d’analyse. Pour
cela, nous allons construire un espace de probabilité filtré explicite. Soit ⌦ = [0, 1[ et
F la tribu borélienne sur ⌦. Soit P la mesure de Lebesgue sur ⌦. Pour tout n 2 N et
0  k  2n 1[, soit Bn,k = [k/2n , (k + 1)/2n [. Soit Fn la sous-tribu de F engendrée par
la partition (Bn,k )0k<2n . Nous rappelons que la tribu engendrée par toutes les Fn est la
tribu borélienne.
Toute fonction mesurable F sur [0, 1[ à valeurs réelles peut ainsi être considérée comme
une variable aléatoire sur ⌦.
1. Montrer que les Fn forment une filtration sur (⌦, F).
2. Montrer que pour tout n 1 et 0  k < 2n , E(1Bn,k |Fn 1 ) = (1/2)1Bn 1,p(k)
où p(k)
est l’unique entier tel que k = 2p(k) ou k = 2p(k) + 1.
3. Supposons F intégrable sur [0, 1[. Soit Fn = E(F |Fn ). Montrer que, pour presque
tout x 2 ⌦, !
n 1
2X Z
Fn (x) = 2n F (x)dx 1Bn,k (x)
k=0 Bn,k

4. Montrer que (Fn , n 0) est une martingale et étudier sa convergence presque sûre
et dans L1 .
5. En déduire le résultat d’analyse suivant : toute fonction f intégrable
R sur [0, 1[ est
n
égale presque partout à la limite de ses moyennes locales 2 Bn,b2n xc f (x)dx.
6. Supposons que F admette une limite l en 1 et que F étendue sur [0, 1] soit K-
Lipschitz. Soit Gn la fonction définie pour tout x 2 ⌦ par :
n 1
2X ✓ ✓ ◆ ✓ ◆◆
n k+1 k
Gn (x) = 2 F F 1Bn,k (x)
k=0
2n 2n

avec la convention F (1) = l. Montrer que |Gn (x)| < K pour tout x 2 [0, 1[ et que,
pour tout x 2 [0, 1[, on a
Z x
Fn (x) F (0) Gn (u)du  2K/2n
0

7. Montrer que Gn est une martingale pour la filtration (Fn , n 0) et montrer que
supn E(Gn ) < 1. Conclure au sujet de la convergence presque sûre, dans L1 et dans
2

L2 de GRn vers une v.a. G. Conclure également au sujet de la convergence presque

x
sûre de 0 Gn (u)du quand n ! 1.
8. En déduire proprement le résultat d’analyse suivant : pour tout fonction f : [0, 1] !
R intégrable et K-Lipschitz, montrer qu’il existe une fonction R xg mesurable bornée
sur [0, 1] telle que, pour tout x 2 [0, 1], on ait f (x) = f (0) + 0 g(u)du.

25
26
Chapitre 3

Chaı̂nes de Markov

Matrices de transition, calculs

Exercice 3.1. Une chaı̂ne de Markov à valeurs dans {0, 1} a toujours une matrice de
transition de la forme ✓ ◆
1 p p
M=
q 1 q
1. Décrire la chaı̂ne dans le cas où p = q = 0 puis dans le cas où p = q = 1. On
supposera par la suite que (p, q) 6= (0, 0).
2. Calculer M n . En déduire limn!+1 P(Xn = i | X0 = j) pour tout i, j 2 {0, 1}.
3. Un virus peut exister sous N formes di↵érentes. A chaque instant, avec probabilité
1 a, il reste sous sa forme où il est, ou avec la probabilité respective a, il mute sous
une forme di↵érente, uniformement choisie parmi les autres N 1 formes. Quelle
est la probabilité que la forme du virus au temps n est la même qu’au temps 0 ?
Suggestion : réduire le problème à l’analyse d’une CM à deux états.

Exercice 3.2. À une probabilité quelconque ↵ sur {2, 3, · · · } on associe une chaı̂ne de
Markov (Xn , n 0) à valeurs dans N, de loi initiale 0 et de matrice de transition Q
définie par
Q(0, i) = ↵(i + 1) , Q(i, i 1) = 1 , i 1 .
[Notation : ↵(x) := ↵({x}).] On pose S = inf{n 1; Xn = 0}, = 1 si ? (premier temps
de retour à l’origine). Quelle est la loi de S ?
Exercice 3.3. Reprendre les deux feuilles précédentes sur les martingales et identifier,
s’il y en a, les chaı̂nes de Markov dans les exercices 2.4, 2.10, 2.12, 2.13, 2.17 et 2.19. Vous
donnerez à chaque fois la filtration associée ainsi que la matrice de transition et la loi
initiale.
Exercice 3.4. Un joueur fréquente 3 casinos numérotés 1, 2 et 3. Chaque jour il choisit
l’un des deux casinos où il n’est pas allé la veille suivant une même probabilité 12 . Le
premier jour, jour 0, il choisit l’un des trois casinos suivant une loi de probabilité µ sur
E := {1, 2, 3}. On note Xn la variable aléatoire égale au numéro du casino fréquenté par
le joueur le jour n. On considérera la suite (Xn , n 0) comme une chaı̂ne de Markov
définie sur (⌦, F ) sous les lois Pµ ; on précisera la matrice de transition Q.

27
 1. Calculer les puissances Qn de Q, puis limn!1 Qn .
2. Calculer limn!1 Pµ (Xn = j), pour j = 1, 2 et 3.
Exercice 3.5. Soient (Yn , n 1) une suite i.i.d. de variables aléatoires de Bernoulli de
paramètre p 2 ]0, 1[ et X0 := 0, Xn := Y1 +· · ·+Yn pour n 1. Remarquer que Xn+1 Xn
p.s. pour tout n. Soit pour tout y 2 N le temps d’arrêt Ty := inf{n 0 : Xn = y}
(inf ? := 1).
1. Montrer, à l’aide de la loi des grands nombres, que limn!1 Xn = 1 p.s. et en
déduire que P(Ty < 1) = 1.
2. Montrer que Mn := Xn np est une martingale par rapport à la filtration (Fn )
engendrée par (Xn ).
3. Calculer E(Ty ), en utilisant la martingale arrêtée (Mn^Ty ).
P
Soit N (y) := 1 k=0 1{Xk =y} le nombre de visites de (Xn ) à y 2 N.
(4) Calculer 1{Xk =y} pour k < Ty , Ty  k < Ty+1 et k Ty+1 , respectivement. En
déduire que N (y) = Ty+1 Ty p.s. et la valeur de E[N (y)].
On remarque que (Xn ) est une marche aléatoire avec matrice de transition Q donnée par
Q(x, x) = 1 p, Q(x, x + 1) = p, x 2 N (on ne demande pas de le prouver).
(5) Calculer la loi de Xn et la loi de T1 .
(6) Prouver, à l’aide de la loi de Markov forte et du point 4, que N (y) a même loi que
T1 .
(7) Calculer la loi de Ty .
Exercice 3.6. Soit X = (⌦, F , (Fn ), (Xn ), Px ) une chaı̂ne de Markov canonique à
valeurs dans E dénombrable, de matrice de transition Q.
1. On suppose que la chaı̂ne (Xn ) a pour loi initiale µ. Soit T un temps d’arrêt tel que
Pµ (T < 1) = 1. Que peut-on dire de la suite (XT +n , n 0) ?
2. Soit S un temps d’arrêt tel que, pour tout x 2 E, Px (S < 1) = 1. On pose
S0 = 0 et, pour n 0, Sn+1 = Sn + S ✓ Sn .
(a) Montrer que, pour tout x 2 E, les Sn sont Px -p.s. finis.
(b) Montrer que la suite (XSn , n 0) associée à la filtration (FSn , n 0) est une
chaı̂ne de Markov dont la matrice de transition est donnée par
QS (x, y) = Px (XS = y).
Exercice 3.7. Dans cet exercice on considère une suite (Xn , n 0) de variables aléatoires
i.i.d. de loi géométrique de paramètre p 2]0, 1[, qui modélisent, par exemple, la durée d’un
stock d’ampoules. Les ampoules sont numérotées à partir de 0 ; elles sont allumées toutes
au même instant ; Xn est la durée de l’ampoule n.
On définit les temps des records successifs de durée des ampoules :
⌧0 := 0, ⌧n+1 := inf{k > ⌧n : Xk > X⌧n }, n 0,
et les records successifs Zn := X⌧n , n 0. Donc Zn est la n-ième record de durée que l’on
rencontre dans la suite (Xn ). Dans la suite on considère une chaı̂ne de Markov (Xn ) dans
N⇤ sous forme canonique (⌦, F , (Fn ), Xn , (Px )x2N⇤ ) avec matrice de transition
Q(x, y) = q y 1
p, x, y 2 N⇤ .

28
 1. Montrer que sous Px la suite (Xn , n 0) est indépendante, Xn est une variable
géométrique de paramètre p pour tout n 1, et Px (X0 = x) = 1.
2. Soit x 2 N⇤ fixé. Calculer

Px (X1  x, · · · , Xk 1  x, Xk > y), k, y 2 N⇤ , y x.

3. On définit ⌧ := inf{n 1 : Xn > X0 }, inf ? := 1. Calculer

Px (⌧ = k, Xk > y), k, y 2 N⇤ , y x.

Montrer que, sous Px , ⌧ est une variable géométrique avec un paramètre que l’on
déterminera et que X⌧ a la même loi que x+X1 . Le couple (⌧, X⌧ ) est-il indépendant
sous Px ?
4. Montrer que ⇡(x) = q x 1 p, x 2 N⇤ , est la seule mesure de probabilité invariante
pour Q. Montrer que P⇡ (⌧ < 1) = 1 et E⇡ (⌧ ) = 1.
5. Montrer que ⌧ est un temps d’arrêt. On peut dans la suite utiliser le fait que pour
les temps ⌧n définis ci-dessus l’on a ⌧n+1 = ⌧n + ⌧ ✓⌧n et donc ⌧n est aussi un temps
d’arrêt (fini Px -p.s. pour tout x 2 N⇤ ).
6. Montrer que (Zn , n 0) est une chaı̂ne de Markov dans N⇤ sous Px par rapport à
la filtration (F⌧n ). Calculer sa matrice de transition et sa loi initiale.
7. Calculer pour toute fonction bornée f : N⇤ 7! R l’espérance conditionnelle de
f (Zn+1 Zn ) sachant F⌧n . Montrer que la suite (Zn Zn 1 , n 1) est i.i.d. sous
Px .
8. Calculer la limite Px -presque sûre de Zn /n, pour tout x 2 N⇤ .

Récurrence, transience, chaı̂nes irréductibles récurrentes

Exercice 3.8. On considère une chaı̂ne de Markov (Xn , n 0) dans E = {1, 2, 3} avec
matrice de transition 0 1
0 1 0
Q := @1/2 1/2 0 A
1/3 1/3 1/3
1. Classer les états. Quelles sont les classes de récurrence/transience ? Déterminer les
états x tels que G(x, x) = 1, où G est la fonction de Green. Déterminer également
si G(x, y) = 0.
2. Montrer que G satisfait la formule G = I + QG, où I est la matrice identité. En
déduire la valeur de G et donc les valeurs de Ex (Ny ) pour tous x, y 2 E, où Ny est
le nombre de visite de X à y.
3. On s’intéresse à présent au temps de première visite en 1 (i.e., T{1} = inf{n
0; Xn = 1}) en fonction du point de départ. On introduit alors v(x) = Ex (T{1} ).
Montrer que
v(x) = 1 + (Qv)(x), x 2 {2, 3}, v(1) = 0.
En déduire la valeur de Ex (T{1} ) pour tout x 2 E.

29
 4. Que peut-on dire de Ex (T{3} ) où T{3} est le temps de première visite de {3} ?
5. Calculer une mesure de probabilité invariante et dire si elle est unique.
6. Soit T{1,2} le premier temps de visite de X à l’ensemble {1, 2}. Quelle est la loi de
T{1,2} sous P3 ?
7. Remarquer que E3 (T{1,2} ) = E3 (N3 ). Quelle en est la raison ?

Exercice 3.9. Soit (⌦, F , (Fn ), (Xn ), Px ) une chaı̂ne de Markov canonique à valeurs dans
E dénombrable, de matrice de transition Q. Soient x, y, z 2 E. Prouver que
⇣ X ⌘
Ex 1{Ty <1} 1{Xn =z} = Px (Ty < 1)G(y, z)
n Ty

G(x, y)
= G(y, z) (si y transient).
G(y, y)

Exercice 3.10. Soit Q := (p(x, y), x, y 2 E) une matrice de transition sur un espace
d’états dénombrable E et soit ⇡ une mesure de probabilité invariante telle que ⇡(x) > 0
pour tout x 2 E. Soit Q⇤ := (p⇤ (x, y), x, y 2 E) définie par

p(y, x)⇡(y)
p⇤ (x, y) := , x, y 2 E.
⇡(x)

1. Montrer que Q⇤ est une matrice de transition sur E et que ⇡ est une mesure de
probabilité invariante pour Q⇤ . Donner une condition nécessaire et suffisante pour
que Q⇤ = Q.
2. Soit (Xn , n 0) une chaı̂ne de Markov canonique avec matrice de transition Q. Soit
N 2 N fixé et Xn⇤ := XN n . Calculer P⇡ (X0⇤ = x0 , · · · , XN⇤ = xN ) et en déduire que
(Xn⇤ , n 2 [0, N ]) est, sous P⇡ , une chaı̂ne de Markov avec loi initiale ⇡ et matrice
de transition Q⇤ .
3. Soit maintenant p 2 ]0, 1[ et Q la matrice de transition sur N = {0, 1, · · · } donnée
par
p(x, y) = p1{y=x+1} + (1 p)1{y=0} , x, y 2 N.
Calculer une mesure de probabilité invariante ⇡ et dire si elle est unique. Calculer
Q⇤ et vérifier que dans ce cas

p⇤ (x, y) = 1{y=x 1} + ⇡(y)1{x=0} , x, y 2 N.

Dessiner les trajectoires typiques de X et X ⇤ dans ce cas.

Exercice 3.11. On considère la chaı̂ne de Markov d’espace d’états N et de matrice de

transition Q := (p(i, j), i, j 2 N) définie par

p(i, 0) = qi et p(i, i + 1) = pi pour tout i 2 N ,

où, pour tout i, pi + qi = 1, pi > 0, qi > 0.

30
 1. Vérifier que la chaı̂ne est irréductible.
2. A quelle condition sur les pi existe-t-il une mesure invariante. Dans ce cas prouver
que la chaı̂ne est récurrente.
3. Sous quelle condition sur les pi la chaı̂ne est-elle récurrente positive ?
Exercice 3.12. Soit (Xn , n 1) une suite de variables aléatoires i.i.d. à valeurs dans
{0, 1} avec P(Xn = 0) = P(Xn = 1) = 1/2. On s’intéresse aux blocs de 3 zéros consécutifs
sans compter 2 fois 2 blocs de 3 zéros consécutifs qui se chevauchent. Lorsqu’il y a 2 blocs
de 3 zéros consécutifs qui se chevauchent, on compte seulement le premier.
On note Nn le nombre de blocs comptés entre les instants 1 et n. On veut calculer la
limite de la fréquence empirique de ces blocs, i.e., la limite p.s. de Nn /n.
Pour ce faire on utilise une chaı̂ne de Markov Y = (Yn , n 0) à 4 états 0, 1, 2, 3, d’état
initial 0 (0 état de repos) qui mémorise le nombre de zéros consécutifs et retombe à l’état de
repos lorsqu’on a compté 3 zéros consécutifs. Par exemple : si (X1 , X2 , X3 , X4 , X5 , X6 , X7 , · · · ) =
(0, 1, 0, 0, 0, 0, 1, · · · ), alors P
(Y1 , Y2 , Y3 , Y4 , Y5 , Y6 , Y7 , · · · ) = (1, 0, 1, 2, 3, 1, 0, · · · ) et N7 = 1 = 7k=1 1{Yk =3} . La ma-
trice de transition Q := (p(x, y), x, y 2 {0, 1, 2, 3}) de la chaı̂ne Y est donnée par
1 1
p(0, 0) = p(0, 1) = , p(1, 0) = p(1, 2) =
2 2
1 1
p(2, 0) = p(2, 3) = , p(3, 0) = p(3, 1) = .
2 2

1. Vérifier que la chaı̂ne Y est irréductible récurrente positive. Calculer sa probabilité

invariante.
2. En déduire la limite p.s. de Nn /n.
Exercice 3.13 (examen 2017). On considère la marche au hasard sur le graphe suivant :
c d

s t u

qu’on étudie comme une chaı̂ne de Markov sur l’espace d’états {e, s, t, u, c, d}.
1. Cette chaı̂ne de Markov est-elle irréductible ? Quels sont ses états récurrents ?
2. Déterminer toutes les mesures invariantes de cette chaı̂ne de Markov.
3. Entre deux visites en t, combien de fois la chaı̂ne de Markov passe-t-elle, en moyenne,
en c ?
4. Partant de u, combien de temps la chaı̂ne met-elle, en moyenne, à revenir en u ?
5. Partant de e, quelle proportion du temps la chaı̂ne passe-t-elle, asymptotiquement,
dans le sous-ensemble {c, d} de E ?
6. Partant de e, combien de temps la chaı̂ne met-elle, en moyenne, à atteindre d ?

31
Convergence vers la loi stationnaire
Exercice 3.14. On considère une chaı̂ne de Markov (Xn ) dans E = {1, 2, 3} avec matrice
de transition Q := (p(x, y), x, y 2 E)
0 1
0 1/2 1/2
p := @1/2 0 1/2A
1 0 0

1. Quelles sont les classes de récurrence/transience ?

2. Calculer une mesure de probabilité invariante et dire si elle est unique et si elle est
réversible.
3. Calculer pour tout x 2 E le temps moyen de retour à x, Ex (Sx ).
4. Calculer la période de tout x 2 E. Quelle est la limite des probabilités de transition
[Qn ](x, y), quand n ! 1 ?

Exercice 3.15 (2eme session 2017). Un professeur anglais posseède un nombre entier
N 1 de parapluies, répartis entre son bureau et son domicile. Il se rend à son bureau
a ? pied le matin et rentre chez lui à pied le soir. S’il pleut, et s’il en a un à sa disposition,
il prend un parapluie. S’il fait beau, il n’en prend pas. On suppose qu’à chaque trajet du
professeur il pleut avec probabilité p 2]0, 1[, indépendamment des trajets preéceédents.
1. Écrire la matrice de transition d ?une chaı̂ne de Markov sur l’espace d’états {0, ..., N }
qui modélise convenablement ce probleème, l’entier k correspondant à la situation
où il y a k parapluies a ? l’endroit où se trouve le professeur.
2. Cette chaı̂ne de Markov est-elle irréductible ? Quels sont ses états récurrents ?
3. Déterminer toutes les mesures invariantes de cette chaiı̂ne.
4. Quelle est, asymptotiquement, la proportion des trajets durant lesquels le professeur
marche sous la pluie sans parapluie ? Vérifier que pour p = 12 , cette proportion vaut
1
4N +2
.
5. Quelle est la pe ?riode de la chaı̂ne de Markov que nous sommes en train d’étudier ?

Exercice 3.16. (Produit de 2 chaı̂nes indépendantes).

Soient X = (Xn ) et Y = (Yn ) deux chaı̂nes de Markov canoniques indépendantes d’espaces
d’états E et F , de matrice de transition Q et R respectivement. La chaı̂ne produit est par
définition la chaı̂ne Z = (Zn ) où Zn = (Xn , Yn ). On vérifie sans peine que la chaı̂ne Z est
une chaı̂ne de Markov de matrice de transition

S (x, y), (x0 , y 0 ) = Q(x, x0 )R(y, y 0 ), x, x0 2 E, y, y 0 2 F.

1. Exprimer les coefficients de S n en fonction des coefficients de Qn et Rn .

2. Montrer que si X et Y sont irréductibles de période 1, alors la chaı̂ne Z = (Zn ) est
irréductible de période 1.
3. Donner un contre-exemple pour lequel X et Y sont irréductibles de période 2 et
pour lequel Z n’est pas irréductible.

32
 4. Supposons que Q et R admettent des probabilités invariantes respectives ⇢ et .
Trouver une probabilité invariante ⇡ pour la chaı̂ne produit.
5. On considère un damier à 16 cases (numérotées successivement de 1 à 16 de gauche à
droite, de haut en bas ; les cases sont de couleur noire ou blanche alternée) sur lequel
se déplacent indépendamment l’une de l’autre deux souris ; chaque souris passe d’une
case à l’une des k cases voisines avec la probabilité 1/k (les déplacements diagonaux
sont proscrits).
Quel est l’intervalle de temps moyen séparant deux rencontres successives sur la case
7?
Exercice 3.17. Serge aime beaucoup le vin. Après avoir trop bu, il s’endort et fait le
rêve suivant : au départ il a une somme d’argent x 2 N (en Euros) ; à chaque minute il
boit un verre de vin, qui lui coûte un Euro ; chaque fois qu’il épuise son capital, il trouve
un porte monnaie qui contient un nombre entier et aléatoire de pièces d’un Euro, et il
recommence instantanément à acheter du vin et boire. Le rêve continue de la même façon
indéfiniment.
On modélise le capital Xn à disposition de Serge à chaque minute n 2 N à l’aide d’une
chaı̂ne de Markov sur N = {0, 1, · · · }, avec matrice de transition Q := (p(x, y), x, y 2 N)
définie par 8
< f (y + 1) x = 0, y 0,
p(x, y) = 1 x > 0, y = x 1,
:
0 sinon,
P
où f est une probabilité sur N⇤ = {1, 2, · · · }, f : N⇤ 7!]0, 1[, n f (n) = 1, avec f (y) > 0
pour tout y 2 N⇤ . Sous Px , (Xn ) est une chaı̂ne de Markov sur N = {0, 1, · · · } avec
probabilité de transition Q et état initial déterministe X0 = x 2 N. Si au temps i le
capital de Serge est y > 0, au temps i + 1 le capital sera y 1. Si au temps i le capital de
Serge est nul, il trouve une quantité y 1 de pièces avec probabilité f (y), et il en dépense
instantanément une, ainsi que son capital au temps i + 1 sera y 1 avec probabilité f (y).
Soient S0 := 0, Sn+1 := inf{i > Sn : Xi = 0}, les retours successifs à l’état 0.
1. Quelles sont les classes de communication de la chaı̂ne de Markov (Xn ) ?
2. Montrer que P0 (S1 = n) = f (n), n 1. En déduire la classification des états en
classes récurrentes/transitoires.
3. Montrer que la mesure sur N définie par
1
X
(x) := f (y), x 2 N,
y=x+1

est invariante pour Q et que toute mesure invariante est un multiple de .

4. Donner une condition nécessaire et suffisante pour que (Xn ) soit récurrente positive.
Montrer qu’il existe une seule mesure de probabilité invariante si et seulement si
X
m := n f (n) < 1.
n

On suppose la condition m < 1 satisfaite dans la suite.

33
 5. Calculer la limite limn!1 Px (Xn = y), pour tous x, y 2 N.
6. Définir u(n) := P0 (Xn = 0). Montrer que {X0 = Xn = 0} = [zn {X0 = Xn =
0, S1 = z} et en déduire que
n
X
u(n) = f (z) u(n z) = [f ⇤ u](n), n 1.
z=1

7. Soit ti := Si Si 1 , i 1. Montrer que (ti , i 1) est, sous P0 , une suite i.i.d. et

calculer P0 (ti = n) (pour n 1).
8. Montrer que P0 (Si = n) = f i⇤ (n), où f i⇤ = f ⇤ · · · ⇤ f est la convolution i fois de f
pour i 1.
9. Montrer que {Xn = 0} = [1
i=0 {Si = n} et en déduire que

1
X
u(n) = f i⇤ (n), n 1.
i=1

10. Montrer le Théorème du Renouvellement : si u est définie par la formule précédente,

alors
1
lim u(n) = .
n!1 m

34
Problème : Processus de
branchement

Le but de ce problème est d’étudier un type de processus, appelé processus de bran-

chement, qui est largement utilisé en biologie pour décrire l’évolution d’une population
dont la reproduction des individus est aléatoire ou, de manière plus générale, tous les
problèmes où des structures d’arbres aléatoires apparaissent.
La problématique est la suivante : on considère des générations discrètes dont on
renouvelle tous les individus d’une génération à la suivante. Chaque individu a un nombre
aléatoire d’enfants, indépendamment de tous les autres individus et ce nombre peut être
éventuellement nul. On s’intéresse alors à la taille de la population (Zn , n 0) au cours
du temps, sachant que l’on commence avec un unique individu (Z0 = 1).
Pour décrire le nombre d’enfants de chaque individu (réel ou virtuel), on introduit une
famille de variables aléatoires (Xk,n )(k,n)2N⇤ ⇥N⇤ à valeurs entières, indépendantes, et de
même loi ⇠. Chaque Xk,n représente le nombre d’enfants de l’individu k à la génération n
(s’il existe). Nous introduisons alors la filtration associée Fn = (Xk,i ; k 2 N⇤ , 1  i  n)
et F0 = {?, ⌦}. La loi ⇠ est appelée la loi de branchement.
La taille de la population suit ainsi l’évolution suivante :
(
0 si Zn = 0
8n 2 N, Zn+1 = PZn
k=1 Xk,n+1 si Zn > 0

1. (un premier cas simple) Nous supposons tout d’abord ⇠(0) + ⇠(1) = 1. Interpréter
cette condition en termes de nombre d’enfants. Comment évolue Zn lorsque n augmente ?
Nous supposons ensuite ⇠(0) = 0 : la population peut-elle s’éteindre ?
Nous supposerons désormais que ⇠(0) + ⇠(1) < 1 et ⇠(0) > 0.
Nous introduisons les notations
X X
m= k⇠(k), (r) = ⇠(k)rk pour r 2 [0, 1]
k2N k2N

qui sont la moyenne du nombre d’enfants d’un individu et la fonction génératrice de

ce nombre. Nous définissons également les itérées de la fonction par 0 (r) = r et
n+1 (r) = ( n (r)) = n ( (r)) pour n 2 N.

2. Calculer E(Zn+1 | Fn ) puis E(Zn ) pour tout n. Montrer que, pour tout n 2 N et tout
r 2 [0, 1],
E(rZn+1 | Fn ) = (r)Zn

35
En déduire E(rZn ).

3. Nous étudions les points fixes de la fonction selon la valeur de m. Étudier la fonction
r 7! (r) et en déduire le nombre de solutions de l’équation (r) = r sur [0, 1].
Nous appellerons q la plus petite solution de l’équation (r) = r sur [0, 1]. Montrer
que la suite ( n (0), n 0) est une suite croissante qui converge vers q.
Nous voulons savoir si la population survit ou s’éteint aux temps longs et introduisons
dans ce but la variable aléatoire :
T = inf {n 2 N; Zn = 0} ,
avec la convention inf ? = 1.

4. Montrer que {Zn = 0} ⇢ {Zn+1 = 0}. Montrer, en utilisant les résultats précédents
sur la fonction , que
P(T < 1) = q .
Nous appellerons extinction l’événement {T < 1} et survie l’événement {T = 1}. Le
cas critique correspond à m = 1, le cas surcritique à m > 1 et le cas sous-critique à
m < 1. Faire le lien avec la probabilité de survie.

5. Nous supposerons dans cette question m > 1 et introduisons les variables Mn = q Zn .

Montrer que (Mn , n 0) est une martingale dont on étudiera la convergence. En déduire
l’égalité presque sûre
lim q Zn 1{T =1} = 0
n!1
puis en déduire l’égalité presque sûre
1{T =1} = 1{limn!1 Zn =1} .
Conclure sur le comportement de la population lorsqu’elle ne s’éteint pas.
P
6. Nous supposons toujours m > 1 et supposons en plus que 2 = k2N k 2 ⇠(k) m2 <
1. En introduisant une martingale idoine, nous pouvons être en fait beaucoup plus précis
sur le comportement de Zn lorsque n ! 1 ! Soit la suite définie pour tout n 2 N par
Wn = Zn /mn .
1. Montrer que (Wn , n 0) est une martingale.
2. Montrer que pour tout n 2 N,
E(Zn+1
2
| Fn ) = m2 Zn2 + 2
Zn
En déduire que supn2N E(Wn2 ) < 1. Conclure sur la convergence de la martingale
(Wn ), dont on notera la limite W1 .
3. Introduisons la fonction L : R+ ! R+ , L( ) = E(e W1 ). Écrire une identité
fonctionnelle faisant intervenir , L et m. Montrer que P(W1 = 0) = lim !1 L( ).
Conclure sur la valeur de P(W1 = 0).
4. En déduire l’égalité presque sûre 1{T =1} = 1{W1 >0} et en déduire que, si la popu-
lation survit, alors Zn croı̂t exponentiellement et donner un équivalent.

36
7. Nous supposons à présent m < 1. Quelle est la limite presque sûre de (Wn ) ? Est-ce
une martingale fermée ?

Le point de vue des chaı̂nes de Markov

Nous nous focalisons à nouveau au cas sur le plus intéressant ⇠(0) > 0 et ⇠(0)+⇠(1) < 1.

8. Montrer que (Zn ) est une chaı̂ne de Markov dont on précisera la loi de transition en
fonction des convolutions de la loi ⇠.

9. Que peut-on dire de l’état 0 ? Quelles sont les classes d’états ? Discuter le caractère
transient ou récurrent de ces classes d’états.

10. En déduire que, P-presque sûrement, on a ou bien extinction ou bien divergence de

la taille Zn vers 1, i.e.,

P(9n 2 N, 8k n, Zk = 0) + P( lim Zn = 1) = 1.
n!1

Quelques compléments pour réfléchir

P
Supposons à nouveau que k k 2 ⇠(k) < 1. Nous nous plaçons à présent dans le cas
où m < 1. Nous considérons à présent une modification du problème de départ. Nous
conservons les mêmes variables aléatoires Xk,n mais considérons une probabilité Q telle
que les Xk,n sont indépendantes, les Xk,n avec k > 1 ont pour loi ⇠(k) et la variable X1,n
a pour loi k⇠(k)/m. Nous supposerons qu’une telle probabilité Q existe et nous noterons
EQ l’espérance associée.

11.
1. Montrer que EQ (rZn+1 | Fn ) = r 0 (r) (r)Zn 1 /m. Le processus (Zn ) s’éteint-il sous
Q?
2. Montrer que E(Wn+1 rZn+1 | Fn ) = Wn r 0 (r) (r)Zn 1 /m. Le processus (Zn ) s’éteint-
il sous P ?
3. Montrer que pour tout n 2 N et tout f : Nn+1 ! R, bornée mesurable, on a

EQ (f (Z0 , Z1 , · · · , Zn )) = E(Wn f (Z0 , Z1 , · · · , Zn ))

En déduire la densité de Q par rapport à P lorsque ces mesures sont restreintes à la

tribu Gn = (Z0 , · · · , Zn ).
Vous pouvez à présent utiliser ce changement de probabilité et étudier Q en détail
pour en tirer des renseignements plus précis sur l’extinction de Zn sous la probabilité P.

37