1

Devoir libre 03
2TSI. Mathématiques
A rendre le vendredi 29 Novembre 2019 au plus tard

Problème
Extrait de l’écrit de l’épreuve de Maths I de CCS pour la filière TSI en 2017

Partie A : Questions préliminaires

1. Représenter graphiquement la fonction logarithme néperien.

2. Démontrer que, pour tout x ∈ R⋆+ , ln(x) 6 x − 1 et que ln x = x − 1 si et seulement si x = 1.
3. Donner une interprétation graphique de ces deux résultats.
4. Montrer que la fonction g définie sur [0, 1] par g(0) = 0 et pour tout x ∈ [0, 1] par g(x) = x ln x est
continue sur [0, 1] et dérivable sur ]0, 1]. Représenter graphiquement la fonction g.

Partie B : Mathématisation de l’effet de surprise

Soit (Ω, P) un espace probabilisé fini. On convient de modéliser la quantité d’information contenue dans
les événements de probabilité non nulle par une fonction S définie par :

∀A ∈ P(Ω) avec P (A) 6= 0, S(A) = f (P (A)),

où f : [0, 1] → R vérifie les contraintes suivantes :

— (i) f (1) = 0.
— (ii) f est décroissante sur ]0, 1].
— (iii) ∀(p, q) ∈]0, 1]2 , f (pq) = f (p) + f (q).
— (iv) f est continue sur ]0, 1].
La mesure S(A) (qui est la quantification d’information contenue dans A) est considérée
aussi comme la quantification de l’effet de surprise provoqué par la réalisation de cet
événement A.
1. Quelle est la quantité d’information de l’événement certain ? Interpréter en terme d’effet de surprise.
2. Que peut-on dire de la quantité d’information contenue dans l’événement A ∩ B lorsque A et B
sont indépendants ? Interpréter en terme d’effet de surprise.
3. Donner un exemple de fonction f vérifiant les quatre contraintes (i), (ii), (iii) et (iv).
4. On se propose maintenant de déterminer l’ensemble des fonctions vérifiant ces quatre contraintes.
Soit f une telle fonction ;
(a) Soit p ∈]0, 1]. Établir, à l’aide d’un changement de variable, l’égalité :
1 p
Z 1
1
Z
f (t) dt = f (p) + f (u) du.
p p2 2 1
2

(b) En déduire que f est dérivable sur ]0, 1].

T.S.V.P →
2

(c) Dans cette question, on fixe p ∈]0, 1]. En dérivant par rapport à q l’égalité (iii), démontrer
a
l’existence d’un réel a indépendant de p tel que f ′ (p) = . Préciser la valeur de a.
p
a
(d) L’égalité f ′ (p) = étant vraie quel que soit p dans ]0, 1], déterminer l’ensemble des fonctions
p
f vérifiant les quatre contraintes (i), (ii), (iii) et (iv).
(e) Montrer que parmi ces fonctions, il en existe une et une seule vérifiant en plus l’égalité f (1/e) =
1.
Cette fonction, notée h, dans la suite du problème, correspond au choix d’une unité particulière
(le logon) pour mesurer la quantité d’information.
Que vaut lim h(p) ? Interpréter ce résultat.
p→∞

(f) On réalise l’expérience aléatoire consistant à effectuer deux lancers successifs d’un dé équilibré
à six faces. On considère les évévements suivants :
• E : ≪ le numéro sorti lors du premier lancer est pair ≫.
• ≪ le maximum des deux numéros sortis est égal à 4 ≫.
• ≪ la somme des deux numéros sortis est égale à 7 ≫.
Ordonner les quantités d’information contenues dans chacun de ces trois événements.
Interpréter en terme d’effet de surprise.

Partie C : Entropie d’une variable aléatoire

1. Dans cette sous-partie, toutes les variables aléatoires considérées sont définies sur un même univers
fini Ω et prennent leurs valeurs dans [[0, n]].
Si X est une telle variable aléatoire, on note pk = P (X = k). On définit l’entropie de X par
n
X
H(X) = − pk ln(pk )
k=0

en convenant que pk ln(pk ) vaut 0 lorsque pk = 0.

(a) Interpréter H(X) comme une espérance puis en terme de quantité d’information.
(b) Montrer que H(X) > 0 et que H(X) = 0 si et seulement si X est une variable aléatoire
certaine, c’est-à-dire :
∃ i ∈ [[0, n]], pi = 1 et ∀j 6= i, pj = 0.

(c) Soit X0 une variable aléatoire qui suit la loi uniforme sur [[0, n]].
i. Calculer H(X0 ).
ii. En appliquant l’inégalité de la question A-2 à un nombre réel x bien choisi, démontrer :
 
1 1
∀k ∈ [[0, n]], −pk ln(pk ) + pk ln 6 − pk .
n+1 n+1
iii. En déduire que H(X) 6 H(X0 ), avec égalité si et seulement si X suit la même loi que X0
(pour le cas d’égalité, on pourra utiliser le cas d’égalité de la question A-2).
Interpréter ce résultat en terme de quantité moyenne d’information.

2. Dans cette sous-partie, on s’intéresse à des variables aléatoires discrètes définies sur un espace
probabilisé (Ω, P) et prenant leurs valeurs dans N⋆ .
Si X est une telle variable pour laquelle P (X = k) est notée pk , alors pour une telle variable
aléatoire réelle, on a :
+∞
X
∀k ∈ N⋆ , pk ∈ [0, 1] et pk = 1.
k=1
X
On dit, par ailleurs, que X est d’espérance finie si la série k pk est absolument convergente.
k>1
 3

X
On dit, par ailleurs, que X est d’entropie finie si la série pk ln(pk ) est absolument convergente
k>1
et on définit alors son entropie par :
+∞
X
H(X) = − pk ln(pk )
k=0

et on convient toujours que pk ln(pk ) = 0 vaut 0 si pk = 0.

Enfin, on admet les égalités suivantes :
+∞ +∞
X 1 X x
∀|x| < 1, xk = et kxk = .
1−x (1 − x)2
k=0 k=0

(a) Pour p ∈]0, 1[ fixé, on dit que X1 suit la loi géométrique de paramétre p si et seulement si pour
tout k ∈ N⋆ , P (X1 = k) = q k−1 p, où q = 1 − p.
Vérifier que X1 suit bien une loi de probabilité et calculer E(X1 ).
En déduire que X1 est d’espérance finie.
1−p
Démontrer aussi que X1 est d’entropie finie et que H(X1 ) = − ln(1 − p) − ln(p).
p
(b) Dans cette question, X est une v.a.r à espérance finie (ie E(X) < +∞) et on note donc
+∞
X +∞
X
E(X) = kP (X = k) = kpk . On se propose de démontrer que X est d’entropie finie.
k=1 k=1

i. Quelle est la limite de pk lorsque k tend vers +∞ ?

√
ii. En déduire que lim pk ln(pk ) = 0 puis qu’il existe un entier k0 tel que pour tout
k→+∞
√
k > k0 , 0 6 − pk ln(pk ) 6 1.
iii. Soit k > k0 . Montrer que :
1 1
• si pk 6 3 alors 0 6 −pk ln(pk ) 6 3/2 .
k k
1
• si pk > 3 alors 0 6 −pk ln(pk ) 6 3pk ln(pk ).
k
X 1 
iv. Soit k > 1, justifier que ln k > k puis que la série + 3p k ln k converge.
k 3/2
k>1
v. Conclure.

Partie D : Entropie d’un couple de v.a.r et entropie conditionnelle

Dans cette partie, m et n sont des entiers non nuls, (X, Y ) et (X ′ , Y ′ ) sont deux couples de variables
aléatoires discrètes, plus précisement, X et X ′ sont à valeurs dans [[0, n]], Y et Y ′ sont à valeurs dans
[[0, m]]. Pour i ∈ [[0, n]] et j ∈ [[0, m]], on note :

pi = P (X = i), qj = P (Y = j), λi,j = P (X = i, Y = j) et λ′i,j = P (X ′ = i, Y ′ = j).

On suppose que pour tout i ∈ [[0, n]] et tout j ∈ [[0, m]], λi,j 6= 0 et λ′i,j 6= 0.
On définit l’entropie du couple (X, Y ) par :
n X
X m
H(X, Y ) = − λi,j ln(λi,j ).
i=0 j=0

On définit l’information entre les couples (X, Y ) et (X ′ , Y ′ ) par :

n X
m
λ′i,j
X  
K (X, Y, X ′ , Y ′ ) = − λi,j ln .
i=0 j=0
λi,j

T.S.V.P →
4

1. Propriétés de l’information entre deux couples.

n X
X m n X
X m
(a) Rappeler les valeurs de λi,j et de λ′i,j et en déduire que :
i=0 j=0 i=0 j=0

n X
m   ′ 
λi,j λ′i,j
X 
K (X, Y, X ′ , Y ′ ) = − λi,j ln − +1 .
i=0 j=0
λi,j λi,j

(b) À l’aide de l’inégalité de la question A)2), établir que K (X, Y, X ′ , Y ′ ) > 0, et que l’égalité a
lieu si et seulement si les deux couples (X, Y ) et (X ′ , Y ′ ) ont la même loi conjointe.
(c) On suppose que les deux variables aléatoires X ′ et Y ′ sont indépendantes, que X ′ suit la même
loi que X et que Y ′ suit la même loi que Y.
Démontrer que K (X, Y, X ′, Y ′ ) = H(X) + H(Y ) − H(X, Y ).
Déduire de ce qui précède que :
(1) H(X, Y ) 6 H(X) + H(Y ).

Donner une condition nécessaire et suffisante pour que cette inégalité soit une égalité.
Remarque : l’inégalité (1) a été obtenue en supposant, pour tout (i, j) ∈ [[0, n]]×[[0, m]], λ′i,j 6= 0
et λi,j 6= 0. On admet qu’elle reste vraie même en dehors de cette condition.
2. On définit l’entropie conditionnelle de Y sachant X par :
HX (Y ) = H(X, Y ) − H(X).
Elle mesure l’incertitude restant sur la valeur de Y lorsque la valeur de X est connue.
(a) Montrer que HX (Y ) 6 H(Y ). Interpréter cette inégalité.
(b) On considère m + 1 réels a0 , a1 , ..., am compris entre 0 et 1.
i. Dans cette question, on suppose (a0 , a1 , ..., am ) ∈]0, 1]m+1 .
Démontrer que pour tout j ∈ [[0, m]], ln(aj ) 6 ln(a0 + a1 + ... + am ).
En déduire l’inégalité :
 
X m Xm
(2) g(aj ) 6 g  aj  .
j=0 j=0

(La fonction g a été définie à la partie A.)

ii. L’inégalité (2) reste-t-elle valable si (a0 , a1 , ..., am ) ∈ [0, 1]m+1 ?
iii. Montrer que l’inégalité (2) est une égalité si et seulement s’il existe au plus un indice
j ∈ [[0, m]] pour lequel aj 6= 0.
m
X
(c) Montrer que, pour tout i ∈ [[0, n]], g(λi,j ) 6 g(pi ). En déduire que HX (Y ) > 0.
j=0