Mathématiques 1

2017
TSI
4 heures Calculatrices autorisées
Objectif du problème
Ce problème aborde la question de la mesure quantitative de l’information.
La première partie étudie quelques propriétés de la fonction logarithme népérien utiles pour les autres parties
du problème.
La deuxième partie vise à construire les fonctions permettant de modéliser l’information contenue dans les évé-
nements de probabilité non nulle d’un espace probabilisé. L’information contenue dans un tel événement
correspond intuitivement à l’effet de surprise provoqué par la réalisation de cet événement.
La troisième partie aborde la notion d’entropie d’une variable aléatoire discrète à valeurs entières.
La quatrième partie aborde l’entropie d’un couple de variables aléatoires et la notion d’entropie conditionnelle.
L’exemple traité dans la cinquième partie établit le lien entre la quantité d’information contenue dans un message
aléatoire et le nombre minimal de questions que le récepteur du message doit poser à son émetteur pour pouvoir
identifier sans ambiguïté l’une des réalisations de ce message.
Notations
− Pour 𝑥 ∈ ℝ+∗ , ln 𝑥 désigne le logarithme népérien de 𝑥.
− Pour 𝑛 ∈ ℕ, ⟦0, 𝑛⟧ désigne les entiers naturels compris entre 0 et 𝑛.

I Questions préliminaires
I.A – Représenter graphiquement la fonction logarithme népérien.
I.B – Démontrer que, pour tout 𝑥 ∈ ℝ+∗ , ln(𝑥) ⩽ 𝑥 − 1 et que ln(𝑥) = 𝑥 − 1 si et seulement si 𝑥 = 1.
I.C – Donner une interprétation graphique de ces deux résultats.
I.D – Montrer que la fonction 𝑔 définie sur [0, 1] par 𝑔(0) = 0 et ∀𝑥 ∈ ]0, 1], 𝑔(𝑥) = 𝑥 ln(𝑥) est continue sur
[0, 1] et dérivable sur ]0, 1]. Représenter graphiquement la fonction 𝑔.

II Mathématisation de l’effet de surprise

Soit (Ω, 𝑃 ) un espace probabilisé fini. On convient de modéliser la quantité d’information contenue dans les
événements de probabilité non nulle par une fonction 𝑆 définie par

∀𝐴 ∈ 𝒫(Ω) tel que 𝑃 (𝐴) ≠ 0 𝑆(𝐴) = 𝑓(𝑃 (𝐴))

où 𝑓∶ ]0, 1] → ℝ vérifie les contraintes suivantes :

i. 𝑓(1) = 0
ii. 𝑓 est décroissante sur ]0, 1]
iii. ∀(𝑝, 𝑞) ∈ ]0, 1]2 𝑓(𝑝𝑞) = 𝑓(𝑝) + 𝑓(𝑞)
iv. 𝑓 est continue sur ]0, 1]
II.A – Quelle est la quantité d’information de l’événement certain ? Interpréter en terme d’effet de surprise.
II.B – Que peut-on dire de la quantité d’information contenue dans l’événement 𝐴 ∩ 𝐵 lorsque 𝐴 et 𝐵 sont
indépendants ? Interpréter en terme d’effet de surprise.
II.C – Donner un exemple de fonction 𝑓 vérifiant les quatre contraintes i, ii, iii et iv.
II.D – On se propose de déterminer l’ensemble des fonctions vérifiant ces quatre contraintes.
Soit 𝑓 une telle fonction.
II.D.1) Soit 𝑝 ∈ ]0, 1]. Établir, à l’aide d’un changement de variable, l’égalité
𝑝 1
1 1
𝑝 ∫ 𝑓(𝑡) d𝑡 = 2 𝑓(𝑝) + ∫ 𝑓(𝑢) d𝑢
𝑝/2 1/2

II.D.2) En déduire que 𝑓 est dérivable sur ]0, 1].

II.D.3) Dans cette question, on fixe 𝑝 ∈ ]0, 1]. En dérivant par rapport à 𝑞 l’égalité iii, démontrer l’existence
d’un réel 𝑎 indépendant de 𝑝 tel que 𝑓′(𝑝) = 𝑎/𝑝. Préciser la valeur de 𝑎.

2017-02-21 08:23:44 Page 1/4

II.D.4) L’égalité 𝑓′(𝑝) = 𝑎/𝑝 étant vraie quel que soit 𝑝 dans ]0, 1], déterminer l’ensemble des fonctions 𝑓
vérifiant les quatre contraintes i, ii, iii et iv.
II.D.5) Montrer que parmi ces fonctions, il en existe une et une seule vérifiant en plus l’égalité 𝑓(1/e) = 1.
Cette fonction, notée ℎ dans la suite du problème, correspond au choix d’une unité particulière (le logon) pour
mesurer la quantité d’information.
Que vaut lim+ ℎ(𝑝) ? Interpréter ce résultat.
𝑝→0
II.D.6) On réalise l’expérience aléatoire consistant à effectuer deux lancers successifs d’un dé équilibré à six
faces. On considère les évènements suivants
− E : « le numéro sorti lors du premier lancer est pair » ;
− M : « le maximum des deux numéros sortis est égal à 4 » ;
− N : « la somme des deux numéros sortis est égale à 7 ».
Ordonner les quantités d’information contenues dans chacun de ces trois événements. Interpréter en terme d’effet
de surprise.

III Entropie d’une variable aléatoire

III.A – Dans cette sous-partie, toutes les variables aléatoires considérées sont définies sur un même univers
fini Ω et prennent leurs valeurs dans ⟦0, 𝑛⟧.
Si 𝑋 est une telle variable, on note 𝑝𝑘 = 𝑃 (𝑋 = 𝑘). On définit l’entropie de 𝑋 par
𝑛
𝐻(𝑋) = − ∑ 𝑝𝑘 ln(𝑝𝑘 )
𝑘=0

en convenant que 𝑝𝑘 ln(𝑝𝑘 ) vaut 0 lorsque 𝑝𝑘 = 0.

III.A.1) Interpréter 𝐻(𝑋) comme une espérance, puis en terme de quantité d’information.
III.A.2) Montrer que 𝐻(𝑋) ⩾ 0 et que 𝐻(𝑋) = 0 si et seulement si 𝑋 est une variable aléatoire certaine,
c’est-à-dire

∃𝑖 ∈ ⟦0, 𝑛⟧ tel que 𝑝𝑖 = 1 et ∀𝑗 ≠ 𝑖, 𝑝𝑗 = 0

III.A.3)
a) 𝑋0 est une variable aléatoire suivant la loi uniforme sur ⟦0, 𝑛⟧. Calculer 𝐻(𝑋0 ).
b) En appliquant l’inégalité de la question I.B à un nombre réel 𝑥 bien choisi, démontrer que

∀𝑘 ∈ ⟦0, 𝑛⟧ − 𝑝𝑘 ln(𝑝𝑘 ) + 𝑝𝑘 ln ( 1 )⩽ 1 −𝑝
𝑛+1 𝑛+1 𝑘

c) En déduire que 𝐻(𝑋) ⩽ 𝐻(𝑋0 ) avec égalité si et seulement si 𝑋 suit la même loi que 𝑋0 (pour le cas
d’égalité on pourra utiliser le cas d’égalité de la question I.B). Interpréter ce résultat en terme de quantité
moyenne d’information.
III.B – Dans cette sous-partie, on s’intéresse à des variables aléatoires discrètes définies sur un espace proba-
bilisé (Ω, 𝑃 ) et prenant leurs valeurs dans ℕ∗ . Si 𝑋 est une telle variable pour laquelle 𝑃 (𝑋 = 𝑘) est noté 𝑝𝑘 , on
dit qu’elle est d’entropie finie si la série ∑ 𝑝𝑘 ln(𝑝𝑘 ) est absolument convergente et on définit alors son entropie
par
+∞
𝐻(𝑋) = − ∑ 𝑝𝑘 ln(𝑝𝑘 )
𝑘=1

en convenant à nouveau que 𝑝𝑘 ln(𝑝𝑘 ) vaut 0 lorsque 𝑝𝑘 = 0.

III.B.1) Pour 𝑝 ∈ ]0, 1[, 𝑋1 est une variable aléatoire suivant la loi géométrique de paramètre 𝑝.
Rappeler les valeurs de 𝑃 (𝑋1 = 𝑘) et de l’espérance de 𝑋1 (aucune démonstration n’est demandée).
1−𝑝
Démontrer que 𝑋1 est d’entropie finie et que 𝐻(𝑋1 ) = − ln(1 − 𝑝) − ln(𝑝).
𝑝
III.B.2) Dans cette question et la suivante, 𝑋 est une variable aléatoire à valeurs dans ℕ∗ d’espérance finie.
+∞
On note 𝐸(𝑋) = ∑ 𝑘𝑝𝑘 . On se propose de démontrer que 𝑋 est d’entropie finie.
𝑘=1
a) Quelle est la limite de 𝑝𝑘 lorsque 𝑘 tend vers +∞ ?
√ √
b) En déduire que lim 𝑝𝑘 ln(𝑝𝑘 ) = 0, puis qu’il existe un entier 𝑘0 tel que ∀𝑘 ⩾ 𝑘0 0 ⩽ − 𝑝𝑘 ln(𝑝𝑘 ) ⩽ 1.
𝑘→+∞

2017-02-21 08:23:44 Page 2/4

c) Soit 𝑘 ⩾ 𝑘0 . Montrer que
1 1
− si 𝑝𝑘 ⩽ 3 , alors 0 ⩽ −𝑝𝑘 ln(𝑝𝑘 ) ⩽ 3/2 ;
𝑘 𝑘
1
− si 𝑝𝑘 ⩾ 3 , alors 0 ⩽ −𝑝𝑘 ln(𝑝𝑘 ) ⩽ 3𝑝𝑘 ln(𝑘).
𝑘
1
d) Soit 𝑘 ⩾ 1. Justifier que ln(𝑘) ⩽ 𝑘, puis que la série ∑ ( + 3𝑝𝑘 ln(𝑘)) converge.
𝑘⩾1
𝑘3/2
e) Conclure.
III.B.3) Dans cette question, on suppose en plus que 𝐸(𝑋) ⩽ 1/𝑝, 𝑝 étant un réel de l’intervalle ]0, 1[. On veut
montrer que 𝐻(𝑋) ⩽ 𝐻(𝑋1 ) (entropie d’une variable aléatoire suivant la loi géométrique de paramètre 𝑝 dont
la valeur a été calculée à la question III.B.1).
Pour 𝑘 ∈ ℕ∗ , on note 𝑝𝑘 = 𝑃 (𝑋 = 𝑘) et 𝑞𝑘 = 𝑃 (𝑋1 = 𝑘).
+∞
a) Justifier que la série ∑(𝑘 − 1)𝑝𝑘 converge et exprimer sa somme en fonction de 𝐸(𝑋).
𝑘=1
b) Justifier la convergence de la série ∑ 𝑝𝑘 ln(𝑞𝑘 ) et démontrer que
+∞
∑ 𝑝𝑘 ln(𝑞𝑘 ) = ln(𝑝) + (𝐸(𝑋) − 1) ln(1 − 𝑝)
𝑘=1

c) Démontrer que
+∞
−𝐻(𝑋1 ) ⩽ ∑ 𝑝𝑘 ln(𝑞𝑘 )
𝑘=1

d) En déduire que
+∞
𝑞
𝐻(𝑋) − 𝐻(𝑋1 ) ⩽ ∑ 𝑝𝑘 ln ( 𝑝𝑘 )
𝑘
𝑘=1

puis que

𝐻(𝑋) ⩽ 𝐻(𝑋1 )

On pourra utiliser l’inégalité démontrée dans la question I.B.

Interpréter ce résultat en terme de quantité moyenne d’information.

IV Quatrième partie
Dans cette partie, 𝑚 et 𝑛 sont des entiers naturels non nuls. (𝑋, 𝑌 ) et (𝑋 ′ , 𝑌 ′) sont deux couples de variables
aléatoires discrètes. 𝑋 et 𝑋 ′ sont à valeurs dans ⟦0, 𝑛⟧, 𝑌 et 𝑌 ′ sont à valeurs dans ⟦0, 𝑚⟧. Pour 𝑖 ∈ ⟦0, 𝑛⟧ et
𝑗 ∈ ⟦0, 𝑚⟧, on note 𝑝𝑖 = 𝑃 (𝑋 = 𝑖), 𝑞𝑗 = 𝑃 (𝑌 = 𝑗), 𝜆𝑖𝑗 = 𝑃 (𝑋 = 𝑖; 𝑌 = 𝑗) et 𝜆′𝑖𝑗 = 𝑃 (𝑋 ′ = 𝑖; 𝑌 ′ = 𝑗).
On suppose que, pour tout (𝑖, 𝑗) ∈ ⟦0, 𝑛⟧ × ⟦0, 𝑚⟧, 𝜆𝑖𝑗 ≠ 0 et 𝜆′𝑖𝑗 ≠ 0.
Notations
On définit l’entropie du couple (𝑋, 𝑌 ) par
𝑛 𝑚
𝐻(𝑋, 𝑌 ) = − ∑ ∑ 𝜆𝑖𝑗 ln(𝜆𝑖𝑗 )
𝑖=0 𝑗=0

On définit l’information entre les couples (𝑋, 𝑌 ) et (𝑋 ′ , 𝑌 ′) par

𝑛 𝑚 𝜆′𝑖𝑗
𝐾(𝑋, 𝑌 , 𝑋 ′ , 𝑌 ′) = − ∑ ∑ 𝜆𝑖𝑗 ln ( )
𝑖=0 𝑗=0
𝜆𝑖𝑗

IV.A – Propriétés de l’information entre deux couples

𝑛 𝑚 𝑛 𝑚
IV.A.1) Rappeler les valeurs de ∑ ∑ 𝜆𝑖𝑗 et de ∑ ∑ 𝜆′𝑖𝑗 et en déduire que
𝑖=0 𝑗=0 𝑖=0 𝑗=0

𝑛 𝑚 𝜆′𝑖𝑗 𝜆′𝑖𝑗
𝐾(𝑋, 𝑌 , 𝑋 ′ , 𝑌 ′) = − ∑ ∑ 𝜆𝑖𝑗 (ln ( )− + 1)
𝑖=0 𝑗=0
𝜆𝑖𝑗 𝜆𝑖𝑗

2017-02-21 08:23:44 Page 3/4

IV.A.2) À l’aide de l’inégalité de la question I.B, établir que 𝐾(𝑋, 𝑌 , 𝑋 ′ , 𝑌 ′) ⩾ 0, et que l’égalité a lieu si et
seulement si les deux couples (𝑋, 𝑌 ) et (𝑋 ′ , 𝑌 ′) ont la même loi conjointe.
IV.A.3) On suppose que les deux variables 𝑋 ′ et 𝑌 ′ sont indépendantes, que 𝑋 ′ suit la même loi que 𝑋 et
que 𝑌 ′ suit la même loi que 𝑌.
Démontrer que 𝐾(𝑋, 𝑌 , 𝑋 ′ , 𝑌 ′) = 𝐻(𝑋) + 𝐻(𝑌 ) − 𝐻(𝑋, 𝑌 ). Déduire de ce qui précède que

𝐻(𝑋, 𝑌 ) ⩽ 𝐻(𝑋) + 𝐻(𝑌 ) (IV.1)

Donner une condition nécessaire et suffisante pour que cette inégalité soit une égalité.
Remarque — L’inégalité (IV.1) a été obtenue en supposant, pour tout (𝑖, 𝑗) ∈ ⟦0, 𝑛⟧ × ⟦0, 𝑚⟧, 𝜆𝑖𝑗 ≠ 0 et 𝜆′𝑖𝑗 ≠ 0.
On admet qu’elle reste vraie même en dehors de cette condition

IV.B – Entropie conditionnelle

On définit l’entropie conditionnelle de 𝑌 sachant 𝑋 par 𝐻𝑋 (𝑌 ) = 𝐻(𝑋, 𝑌 ) − 𝐻(𝑋).
Elle mesure l’incertitude restant sur la valeur de 𝑌 lorsque la valeur de 𝑋 est connue.
IV.B.1) Montrer que 𝐻𝑋 (𝑌 ) ⩽ 𝐻(𝑌 ). Interpréter cette inégalité.
IV.B.2) On considère 𝑚 + 1 réels 𝑎0 , 𝑎1 , …, 𝑎𝑚 compris entre 0 et 1.
a) Dans cette question, on suppose (𝑎0 , 𝑎1 , …, 𝑎𝑚 ) ∈ ]0, 1]𝑚+1 .
Démontrer que, pour tout 𝑗 ∈ ⟦0, 𝑚⟧, ln(𝑎𝑗 ) ⩽ ln(𝑎0 + 𝑎1 + ⋯ + 𝑎𝑚 ).
En déduire l’inégalité
𝑚 𝑚
∑ 𝑔(𝑎𝑗 ) ⩽ 𝑔 (∑ 𝑎𝑗 ) (IV.2)
𝑗=0 𝑗=0

La fonction 𝑔 a été définie dans la partie I.

b) L’inégalité (IV.2) reste-t-elle vraie si (𝑎0 , 𝑎1 , …, 𝑎𝑚 ) ∈ [0, 1]𝑚+1 ?
c) Montrer que l’inégalité (IV.2) est une égalité si et seulement s’il existe au plus un indice 𝑗 ∈ ⟦0, 𝑚⟧ pour
lequel 𝑎𝑗 ≠ 0.
𝑚
IV.B.3) Montrer que, pour tout 𝑖 ∈ ⟦0, 𝑛⟧, ∑ 𝑔(𝜆𝑖𝑗 ) ⩽ 𝑔(𝑝𝑖 ). En déduire que 𝐻𝑋 (𝑌 ) ⩾ 0.
𝑗=0

V Une application
Un jeu oppose deux joueurs A et B. Une urne contient 2016 boules indiscernables au toucher numérotées de 0
à 2015. Le joueur A tire une boule au hasard dans l’urne. On note 𝑌 la variable aléatoire égale au numéro de
la boule tirée par le joueur A. Le joueur B pose alors au joueur A une série de 𝑁 questions amenant la réponse
« oui » ou « non » lui permettant de déterminer sans ambiguïté la valeur prise par 𝑌. Le but de cette partie est
de trouver la valeur minimale de 𝑁 si B procède par dichotomies successives.
V.A – Déterminer l’entropie de 𝑌.
V.B – La première question posée par B est « 𝑌 est-il compris entre 1008 et 2015 ? » La réponse fournie par
A lui permet de positionner 𝑌 par rapport 1008. Si la réponse de A est « oui », B posera 𝑋1 = 1 et cherchera
ensuite à positionner 𝑌 par rapport à 1512. Si la réponse à la première question est « non », B posera 𝑋1 = 0
et cherchera à positionner 𝑌 par rapport à 504. Il continue selon le même procédé.
Expliquer pourquoi le joueur B finira par trouver la valeur de 𝑌. Au bout de combien de questions ?
V.C – On se propose de donner une interprétation de ce résultat en terme d’entropie. Les variables aléatoires
(𝑋1 , 𝑋2 , …, 𝑋𝑁 ) sont renseignées par les réponses données par A à la première, la deuxième, …, la 𝑁-ième
question.
𝑁
On pose 𝑋 = ∑ 𝑋𝑁+1−𝑖 2𝑖−1 . On admet que 𝑋 est une variable aléatoire.
𝑖=1
Montrer qu’elle prend ses valeurs dans ⟦0, 2𝑁 − 1⟧. On ne cherchera pas la loi de 𝑋.
V.D – Démontrer que 𝐻(𝑋) ⩽ 𝑁 ln(2).
On pourra utiliser l’inégalité vue à la question III.A.3.
V.E – Expliquer en langage courant pourquoi 𝐻𝑌 (𝑋) = 0. En déduire que 𝐻(𝑋, 𝑌 ) = 𝐻(𝑌 ).
V.F – Montrer que 𝐻𝑋 (𝑌 ) ⩾ ln(2016) − 𝑁 ln(2).
V.G – En combien de questions le joueur B est-il certain de pouvoir trouver à coup sûr la valeur de 𝑌 ?
Comparer au résultat de la question V.B.

• • • FIN • • •

2017-02-21 08:23:44 Page 4/4