Cours n° 6

Sources discrètes sans mémoire

Information et entropie conjointes
Entropie conditionnelle – Loi de Bayes
Exemple canal binaire
Extensions à 𝑛 sources
Capacité d’un canal

1
 La théorie de l’information
Le théorème de la communication s’intéresse aux moyens de transmettre une
information depuis une source jusqu’à un utilisateur à travers un canal

Message

Source Canal Destinataire

Perturbations

o La nature de la source peut être variée: une voix, un signal électromagnétique ou un

système de symboles binaires, par exemple.

2
 La théorie de l’information
o Le canal peut être une ligne téléphonique, une liaison radio etc…

o Ce canal va être examiné du point de vue de la quantité d’information qu’il peut

transmettre et des perturbations aléatoires qu’il subit

o Le récepteur va reconstituer le message reçu. Le message étant caractérisé de manière

probabiliste car un message certain est déjà connu par le destinataire ( n’a pas besoin
d’être transmis)

Caractérisation de ces trois éléments  objectif de la théorie de l’information

A fin de réduire respectivement la redondance de la source (envoie des symboles

n’apportant aucune information) et les probabilités d’erreurs de la transmission on emploie :

Codage/décodage de
source/canal 3
 Objectif du codeur de la source est de représenter la sortie de la source en une séquence
binaire, par exemple.

 Objectif du codeur du canal et de son décodeur, est de reproduire le plus fidèlement

possible cette séquence binaire malgré le passage à travers un canal bruité

Codage Codage
Source
Source Canal

Canal

Décodage Décodage
Destinataire
Source Canal
4
 Modélisation d’un source
Il est possible de classer les sources en deux catégories selon les signaux ou messages
qu’elles émettent :

o Les sources analogiques : domaine de la TV, la vidéo, la radio (l’audio en général)

o Les sources discrètes : disques optiques (Cd, DVD,…), les mémoires magnétiques
(disques durs, bandes,…).

Quelque soit le type de source, l’information doit être transmise

sous forme numérique

L’encodeur de source est l’élément chargé de la transformation du format de

l’information. Le problème est différent selon que nous avons à faire à une source
continue ou discrète.
5
 Modèle mathématique d’une source
 Une source transmet une information à un récepteur celui-ci ne connaissant pas
l’information qui va lui être transmise.

 Une source d'information émet en général un message non déterministe. D'un point
de vue signal ce ne peut être qu'un signal aléatoire et la modélisation mathématique
associée doit être stochastique ⇒ une information est un processus stochastique.

 Ce qui rend une information intéressante est son caractère imprédictible.

⇒ Une information est ainsi d'autant plus riche qu'elle est peu probable !

Source que dispose d’un "alphabet" constitué

Source discrète sans
d'éléments ou symboles ou caractères
mémoire
𝑥1 , 𝑥2 , 𝑥3 , … , 𝑥𝐾 où 𝐾 est la longueur de l'alphabet

6
 Source discrète sans mémoire
o Les symboles de l’alphabet de la source sont associés pour constituer un
message.

o Emettre un message revient à émettre une succession de symboles appartenant

à une source.

o Chaque symbole 𝑥𝑘 de l'alphabet a une probabilité d'utilisation 𝑝𝑘 .

o Pour simplifier le problème, une catégorie de sources est plus simple à

modéliser : celle des sources pour lesquelles la probabilité d'émission d'un
caractère est indépendante de ce qui a été émis avant ou sera émis après.

o C'est ce qui défini une source sans mémoire ( markovienne)

7
 Quantité d’information émisse par la source
La quantité d'information d'un symbole 𝑥𝑘 de probabilité 𝑝𝑘 a été définie par Shannon
comme :
1
𝐼 𝑥𝑘 = − 𝑙𝑜𝑔 𝑝𝑘 = 𝑙𝑜𝑔
𝑝𝑘

Unités:
Dans la définition de la quantité d'information il n'a pas été précisé la base du logarithme utilisée et
c'est cette base qui définit l'unité.

o Base 2 : c'est celle historiquement choisie par Shannon qui est à l'origine de cette définition.
L'unité ainsi obtenue est le bit (ou Shannon).

o Base e : utilisation du logarithme Népérien (ou naturel). L'unité devient alors le nats (ou logon) ⇒
1 nats = 0,69315 bits (𝑙𝑛 𝑎 = 𝑙𝑛 2 . log2 𝑎 = 0,69315. log 2 (𝑎))

o Base 10 : En conformité avec le système décimal, la base 10 qui donne le dit (ou décit) comme
ln(𝑎) 𝑙𝑛 2 log2 𝑎
unité ⇒ 1 dit = 0,301 bits (log10 (𝑎) = = = 0,301. log 2 (𝑎)) 8
ln(10) ln(10)
 Entropie d’une Source
Si on considère une source d’information 𝑆 qui sélectionne aléatoirement un symbole parmi
𝑁 éléments d’un alphabet (𝑠1 , … , 𝑠𝑁 ) de possibilités respectives 𝑃1 , … , 𝑃𝑁 , l’entropie de la
source est :
𝑁

𝐻 𝑆 =− 𝑃𝑘 log 2 (𝑃𝑘 ) 𝑈𝑛𝑖𝑡é𝑠 ∶ 𝑠ℎ𝑎𝑛𝑛𝑜𝑛/𝑠𝑦𝑚𝑏𝑜𝑙𝑒

𝑘=1

La quantité d’information d’une source est liée au caractère nouveau et imprévu de

chacun des symboles émis. C’est-à-dire, à la difficulté de les déduire du contexte des
symboles antérieures.

Exemple : Source binaire 0,1 . On a pour ′𝑂′ → 𝑃 et pour ′1′ → 1 − 𝑃

𝐻 𝑆 = − 𝑃 log 2 𝑃 + 1 − 𝑃 log 2 (1 − 𝑃)
9
 Entropie d’une Source
Exemple : Source binaire 0,1 . On a pour ′𝑂′ → 𝑃 et pour ′1′ → 1 − 𝑃

On peut constater qu’un élément binaire (bit) ne véhicule qu’un Shannon que lorsque
𝑃 = 0.5 (lorsque les états 0,1 sont équiprobables).
𝐻 𝑆 → 0 lorsque l’un des symboles devient très probable (fréquent) 10
 Entropie d’une Source
1- Théorème de l’Entropie Maximale :
De façon plus générale, on peut démonter que 𝐻 𝑆 est une grandeur positive ou nulle
qui est maximale lorsque l’incertitude globale est la plus grande, c’est-à-dire lorsque
1
𝑃𝑘 =
𝑁

𝑁 1 1
0 < 𝐻 𝑆 < 𝐻𝐴 (𝑁) avec 𝐻𝐴 𝑁 = − 𝑘=1 𝑁 log 2 𝑁 = log 2 𝑁

Conséquences :
(Source binaire)

0 < 𝐻 𝑆 < log 2 𝑁

𝐻 𝑆 < 𝐻𝐴 𝑁 = log 2 𝑁 = log 2 2 = 1 11

2- Inégalité de Gibbs:
Considèrerons deux alphabets de 𝑁 éléments (𝑎1 , … , 𝑎𝑁 ) et (𝑏1 , … , 𝑏𝑁 ) de possibilités
respectives 𝑝1 , … , 𝑝𝑁 et 𝑞1 , … , 𝑞𝑁 on peut déduire l’inégalité suivante :

𝑁
𝑞𝑘 L’égalité ayant lieu lorsque ∀𝑘 𝑝𝑘 = 𝑞𝑘
𝑝𝑘 log 2 ≤0
𝑝𝑘
𝑘=1

Démonstration:

Graphiquement, on peut déduire

l’inégalité suivante

ln 𝑥 < 𝑥 − 1

12
Démonstration (suite):
On effectue la démonstration utilisant que ln 𝑥 < 𝑥 − 1, l'égalité étant obtenue pour
𝑞
𝑥 = 1. On pose 𝑥 = 𝑝𝑘 > 0
𝑘

𝑞𝑘 𝑞𝑘
ln ≤ −1
𝑝𝑘 𝑝𝑘

Multipliions par 𝑝𝑘 : 𝑞𝑘 𝑞𝑘
𝑝𝑘 ln ≤ 𝑝𝑘 − 1 = 𝑞𝑘 − 𝑝𝑘
𝑝𝑘 𝑝𝑘

Soit : 𝑁 𝑁 𝑁
𝑞𝑘
𝑝𝑘 ln ≤ 𝑞𝑘 − 𝑝𝑘
𝑝𝑘
𝑘=1 𝑘=1 𝑘=1

𝑁
𝑞𝑘
𝑝𝑘 ln ≤ 1−1
𝑝𝑘
𝑘=1

𝑁
𝑞𝑘
𝑝𝑘 ln ≤0
𝑝𝑘 13
𝑘=1
 3- Relation avec la thermodynamique

L'entropie augmente lorsque le nombre d'états du système augmente

Soit 𝑆 une source composé d’un alphabet de 𝑁 éléments (𝑠1 , … , 𝑠𝑁 ) avec les probabilités
𝑝1 , … , 𝑝𝑁 . On suppose que l’symbole 𝑠𝑘 est sectionné en deux sous-symboles 𝑠𝑘1 et 𝑠𝑘2 ,
de probabilités respectives 𝑝𝑘1 et 𝑝𝑘2 non-nulles telles que 𝑝𝑘 = 𝑝𝑘1 + 𝑝𝑘2

L'entropie de la source aléatoire résultante 𝑆’

𝐻 𝑆′ > 𝐻 𝑆

En vertu du deuxième principe de la thermodynamique et comment le démon de

Boltzmann nous l’appris (plus le système possède des états 𝑁,
plus augmente l’entropie de celui-ci …), donc on peut penser ainsi au nombre
de symboles d’un alphabet

14
 Redondance d’une Source
Définition :
L’écart à l’unité du rapport entre l’entropie d’une source et l’entropie maximale (donnée par
la taille de son alphabet) est appelé la redondance :

𝐻 𝑆
𝑅 𝑆 =1−
𝐻𝐴 (𝑁)

La redondance permet d’apprécier l’usage que fait la source de son alphabet, c’est-à-
dire l’adéquation de cet alphabet au message livré par la source

15
 Information & entropie conjointe de deux sources

Cette notion permet de mesurer le degré de similitude entre deux sources

 Il est très fréquent dans la pratique que deux sources d’information diffusent des
messages presque identiques.

 Il sera nécessaire alors d’avoir un outil de mesure du dégrée de ressemblance

Considérons deux sources discrètes d’alphabets : (𝑥1 , … , 𝑥𝑁 ) et (𝑦1 , … , 𝑦𝑀 )

D’un point de vue globale le couple (𝑋, 𝑌) peut être assimilé à une source virtuelle émettant
les symboles (𝑥𝑖 , 𝑦𝑗 ).

Si 𝑝(𝑥𝑖 , 𝑦𝑗 )est la probabilité jointe entre deux caractères alors la quantité d'information
conjointe est :

𝐼 𝑥𝑖 , 𝑦𝑗 = −log 𝑝 𝑥𝑖 , 𝑦𝑗
16
 Entropie conjointe de deux sources
L'entropie jointe des deux sources est alors la quantité d'information moyenne conjointe
entre deux caractères de la source :

Considérons deux sources discrètes d’alphabets : (𝑥1 , … , 𝑥𝑁 ) et 𝑦1 , … , 𝑦𝑀 .

Son entropie est appelée entropie conjointe de 𝑿 et 𝒀

𝑁 𝑀

𝐻 𝑋, 𝑌 = − 𝑃 𝑥𝑖 , 𝑦𝑗 log 𝑃 𝑥𝑖 , 𝑦𝑗
𝑖=1 𝑗=1

 Cas où les deux sources sont indépendantes :

𝑃 𝑥𝑖 , 𝑦𝑗 = 𝑃 𝑥𝑖 . 𝑃 𝑦𝑗

𝐻 𝑋, 𝑌 = 𝐻 𝑋 + 𝐻 𝑌
17
 Entropie conjointe de deux sources
 Cas où les deux sources sont dépendantes :

L’existence d’une compromis (ou relation) entre 𝑋 et 𝑌 implique que l’observation globale
de 𝑋, 𝑌 apporte moins d’information que la somme des informations apportées par les
observations séparées de 𝑋 et 𝑌

0 ≤ 𝐻 𝑋, 𝑌 ≤ 𝐻 𝑋 + 𝐻 𝑌

Démonstration:
On utilise l’inégalité de Gibbs où on définit : 𝑝𝑘 = 𝑃 𝑥𝑖 , 𝑦𝑗 et 𝑞𝑘 = 𝑃 𝑥𝑖 . 𝑃 𝑦𝑗
𝑁
𝑞𝑘
𝑝𝑘 log ≤0
𝑝𝑘
𝑘=1

𝑁 𝑀
𝑃 𝑥𝑖 . 𝑃 𝑦𝑗
𝑃 𝑥𝑖 , 𝑦𝑗 log ≤0
𝑃 𝑥𝑖 , 𝑦𝑗 18
𝑖=1 𝑗=1
 𝑁 𝑀
𝑃 𝑥𝑖 . 𝑃 𝑦𝑗
Démonstration: 𝑃 𝑥𝑖 , 𝑦𝑗 log
𝑃 𝑥𝑖 , 𝑦𝑗
≤0
𝑖=1 𝑗=1

𝑁,𝑀
𝑖,𝑗=1 𝑃 𝑥𝑖 , 𝑦𝑗 log 𝑃 𝑥𝑖 . 𝑃 𝑦𝑗 − log 𝑃 𝑥𝑖 , 𝑦𝑗 ≤0

𝑁,𝑀

𝑃 𝑥𝑖 , 𝑦𝑗 log 𝑃 𝑥𝑖 + log(𝑃 𝑦𝑖 ) − log 𝑃 𝑥𝑖 , 𝑦𝑗 ≤0

𝑖,𝑗=1

−𝐻 𝑋 −𝐻 𝑌 +𝐻 𝑋, 𝑌 ≤ 0

𝐻 𝑋, 𝑌 ≤ 𝐻 𝑋 +𝐻 𝑌

19
 Quantité d'information mutuelle
C’est la quantité d’information partagée par 𝑋 et 𝑌

𝑰 𝑿, 𝒀 = 𝐻 𝑋 + 𝐻 𝑌 − 𝐻 𝑋, 𝑌

𝑁 𝑀

𝐼 𝑋, 𝑌 = − 𝑃 𝑥𝑖 , 𝑦𝑗 log 𝑃 𝑥𝑖 + log(𝑃 𝑦𝑖 ) − log 𝑃 𝑥𝑖 , 𝑦𝑗

𝑖=1 𝑗=1

𝑁 𝑀
𝑃 𝑥𝑖 , 𝑦𝑗
𝐼 𝑋, 𝑌 = 𝑃 𝑥𝑖 , 𝑦𝑗 log
𝑃 𝑥𝑖 . 𝑃 𝑦𝑗
𝑖=1 𝑗=1

L'information mutuelle représente l'incertitude moyenne sur 𝑋 diminuée de

celle qui subsiste lorsque 𝑌 est connue. 20
 Quantité d'information mutuelle
 Cas où les deux sources 𝑋 et 𝑌 sont indépendantes :
leur information mutuelle sera nulle, car elles ne partageant aucune information.

𝐼 𝑋, 𝑌 = 0

 Cas où 𝑋 = 𝑌 :
𝑃 𝑥𝑖 , 𝑦𝑗 = 𝑃 𝑥𝑖 = 𝑃 𝑦𝑗

𝐼 𝑋, 𝑌 = 𝐻 𝑋 = 𝐻 𝑌

 Dans le cas général l’information mutuelle vérifie deux inégalités :

0 ≤ 𝐼 𝑋, 𝑌 ≤ 𝐻 𝑋 𝑒𝑡 0 ≤ 𝐼 𝑋, 𝑌 ≤ 𝐻 𝑌

21
 Probabilité conditionnelle
(Probabilité de la indétermination)
Soient 𝑋 et 𝑌 deux évènements

On suppose que 𝑌 s'est produit (𝑃(𝑌) ≠ 0)

S'il existe un lien entre 𝑋 et 𝑌, cette information va modifier la probabilité de 𝑋

𝑃(𝑋) aussi appelée probabilité marginale

 Probabilité de 𝑋 conditionnellement à 𝑌
 Probabilité de 𝑋 sachant 𝑌

𝑃 𝑌|𝑋 𝑃(𝑋) est une probabilité

𝑃 𝑋 |𝑌 = Théorème de Bayes
𝑃(𝑌)

𝑃 𝑋|𝑌 𝑃 𝑌 = 𝑃 𝑋 ∩ 𝑌 = 𝑃 𝑌|𝑋 𝑃(𝑋)

𝑃 𝑋 ∩ 𝑌 = la probabilité que les événements 𝑋 et 𝑌 aient

22
tous les deux lieu
 Théorème de Bayes
La probabilité conjointe (mutuelle) de deux sources peut être exprimé en fonction des
probabilités conditionnelles :

𝑃 𝑋|𝑌 𝑃 𝑌 = 𝑃 𝑋 ∩ 𝑌 = 𝑃 𝑌|𝑋 𝑃(𝑋)

𝑃 𝑥𝑖 , 𝑦𝑗 = 𝑃 𝑥𝑖 𝑦𝑗 𝑃 𝑦𝑗 = 𝑃 𝑦𝑗 𝑥𝑖 𝑃 𝑥𝑖 Probabilité
marginale
probabilité de 𝑋
probabilité mutuelle probabilités conditionnelles

Probabilité que les • Probabilité de 𝑋 sachant 𝑌 (𝑌 s'est produit

événements 𝑋 et 𝑌 aient (𝑃(𝑌) ≠ 0)
tous les deux lieu • Probabilité de 𝑌 sachant 𝑋 (𝑋 s'est produit
(𝑃(𝑋) ≠ 0)

23
 Entropie Conditionnelle
L’entropie conditionnelle, définie à partir des probabilités conditionnelles s’exprime :

𝑯 𝑿|𝒀 = − 𝑃(𝑦𝑗 ) 𝐻 𝑋|𝑦𝑗

𝑗=1

L’entropie conditionnelle aussi dénommée équivocation, représente la quantité

d’information de l’indétermination (ou équivoque) sur l’évènement 𝑋 qui se
maintient après la connaissance de l’évènement 𝑌

Quantité d’information qu’il reste à acquérir pour connaitre X, lorsque Y est connu

𝑁 𝑁
1
où 𝐻 𝑋|𝑦𝑗 = 𝑃 𝑥𝑖 |𝑦𝑗 𝐼 𝑥𝑖 |𝑦𝑗 = 𝑃 𝑥𝑖 |𝑦𝑗 log 2
𝑃 𝑥𝑖 |𝑦𝑗
𝑖=1 𝑖=1 24
 Entropie Conditionnelle
Propriété :
L’entropie conditionnelle est inferieure ou égale à la quantité d’information apportée
par 𝑋, puisque la connaissance de 𝑌 réduit l’incertitude sur 𝑋 :

𝐼 𝑋, 𝑌 ≥ 0  𝐻 𝑋|𝑌 < 𝐻 𝑋

𝐻 𝑋 = 𝐻 𝑋|𝑌 + 𝐼(𝑋, 𝑌)

L’entropie conditionnelle permet alors d’envisager des modes de calculs supplémentaires

de l’information mutuelle :

𝐼 𝑋, 𝑌 = 𝐻 𝑌 − 𝐻 𝑌|𝑋 = 𝐻 𝑋 − 𝐻 𝑋|𝑌 = 𝐻 𝑋, 𝑌 − 𝐻 𝑋|𝑌 − 𝐻 𝑌|𝑋

25
 Entropie Conditionnelle
Démonstration :
• En vertu du théorème de Bayes, 𝑃 𝑥𝑖 , 𝑦𝑗 = 𝑃 𝑥𝑖 𝑦𝑗 𝑃 𝑦𝑗 = 𝑃 𝑦𝑗 𝑥𝑖 𝑃 𝑥𝑖


𝑃 𝑥𝑖 ,𝑦𝑗 𝑃 𝑥𝑖 𝑦𝑗 𝑃 𝑦𝑗 𝑥𝑖
= =
𝑃 𝑥𝑖 𝑃 𝑦𝑗 𝑃 𝑥𝑖 𝑃(𝑦𝑗 )

• Avec la définition d’information mutuelle :

𝑁 𝑀
𝑃 𝑥𝑖 , 𝑦𝑗
𝐼 𝑋, 𝑌 = 𝑃 𝑥𝑖 , 𝑦𝑗 log
𝑃 𝑥𝑖 . 𝑃 𝑦𝑗
𝑖=1 𝑗=1

𝑁 𝑀
𝑃(𝑥𝑖 |𝑦𝑗 )
𝐼 𝑋, 𝑌 = 𝑃 𝑥𝑖 , 𝑦𝑗 log = 𝐻 𝑋 − 𝐻 𝑋|𝑌
𝑃 𝑥𝑖
𝑖=1 𝑗=1

𝑁 𝑀
𝑃 𝑦𝑗 𝑥𝑖
𝐼 𝑋, 𝑌 = 𝑃 𝑥𝑖 , 𝑦𝑗 log = 𝐻 𝑌 − 𝐻 𝑌|𝑋
𝑃(𝑦𝑗 ) 26
𝑖=1 𝑗=1
 Information & entropie mutuelles
Diagrammes des Venn
Le diagramme de Venn résume, pour le cas de 2 variables aléatoires (𝑋, 𝑌), la définition de
l’information mutuelle ainsi que les relations entre les différentes entropies

𝐻 𝑋 𝐻 𝑋|𝑌 𝐻 𝑌|𝑋 𝐻 𝑌
Information apportée Entropie conditionnelle : Entropie conditionnelle : Information apportée
par l’observation de 𝑋 la connaissance de 𝑌 réduit la connaissance de 𝑋 réduit par l’observation de 𝑌
l’incertitude sur 𝑋 : l’incertitude sur 𝑌 :

Entropie conjointe des deux

sources  quantité
d'information moyenne
conjointe entre deux
évènements 𝑋, 𝑌

𝐻 𝑋, 𝑌 27
Information & entropie mutuelles
Diagrammes des Venn
𝐻 𝑋 𝐻 𝑌

𝐻 𝑋|𝑌 𝐼 𝑋, 𝑌 𝐻 𝑌|𝑋

𝐻 𝑋, 𝑌

𝐼 𝑋, 𝑌 = 𝐻 𝑌 − 𝐻 𝑌|𝑋
= 𝐻 𝑋 − 𝐻 𝑋|𝑌
= 𝐻 𝑋, 𝑌 − 𝐻 𝑋|𝑌 − 𝐻 𝑌|𝑋 28
 Canal binaire symétrique :
Information & entropie mutuelles
Lors de la transmission par un canal, nous souhaitons récupérer l'information
sans distorsion, autrement dit, l'alphabet de sortie du canal doit être le même que celui de
l'entrée.

Exemple :
• Considérons deux source binaires 𝑆 et 𝑅, correspondant à la source et au récepteur
• On dispose d’un canal qui doit transmettre des messages. Si nous appelons 𝒑 la
probabilité d'erreur nous pouvons schématiser le fonctionnement du canal par le
graphe suivant :
𝟏−𝒑
𝟎 𝟎
Source d'entrée 𝑆 𝒑 Source de sortie 𝑅
alphabet : { 0 , 1 } alphabet : { 0 , 1 }
𝒑
𝟏 𝟏
𝟏−𝒑
29
 Canal binaire symétrique
Ce modèle de canal binaire sans mémoire est le plus simple. Ses alphabets d'entrée et
de sortie sont binaires. Ecrivons les données:

𝟏−𝒑
𝟎 𝟎
𝒑
𝒑
𝟏 𝟏
𝟏−𝒑

30
Canal binaire symétrique

31
Canal binaire symétrique

32
Canal binaire symétrique

33
Canal binaire symétrique

34
 Canal binaire symétrique
Conclusions :
o Si 𝑃 = 0 ce qui veut dire pas d'erreur de transmission alors
𝐼 𝑋 ,𝑌 = 1
Similitude parfaite entre les deux sources, la transmission se passe bien :
𝐻( 𝑋 , 𝑌 ) = 1

1
o si 𝑃 = 2 trouble complète lors de la transmission. Dans ce cas
𝐼 𝑋 ,𝑌 = 0
Plus du tout de similitude entre les deux sources.
𝐻( 𝑋 , 𝑌 ) = 𝐻( 𝑋 ) + 𝐻( 𝑌 ) = 2

Tout se passe comme si les deux sources étaient indépendantes.

o Si 𝑃 = 1, à nouveau
𝐼( 𝑋 , 𝑌 ) = 1

Les deux sources sont à nouveau tout à fait semblables. Le fait qu'il y a dans ce cas
permutation du "0" et du "1" n'ayant pas d'importance.
35
 N-Sources aléatoires
Conclusions :
o Ces résultats s’étendent à des 𝑛 − 𝑢𝑝𝑙𝑒𝑡𝑠 de sources aléatoires 𝑆1 , 𝑆2 , 𝑆3 … 𝑆𝑛

o L’entropie conjointe de 𝑛 − 𝑢𝑝𝑙𝑒𝑡𝑠 est alors inferieure ou égale à la somme des

entropies de chaque variable aléatoire

𝐻 𝑆1 , 𝑆2 , 𝑆3 … 𝑆𝑛 < 𝐻 𝑆1 + 𝐻 𝑆1 + ⋯ + 𝐻 𝑆𝑛

L ’égalité étant obtenue si les variables sont indépendantes

o L’entropie conditionnelle de 𝑆1 𝐻 𝑆1 |𝑆2 , 𝑆3 … 𝑆𝑛 → quantité moyenne

d’information apportée par 𝑆1 lorsque 𝑆2 , 𝑆3 … 𝑆𝑛 sont déjà connus :

𝐻 𝑆1 |𝑆2 … 𝑆𝑛 ≤ 𝐻 𝑆1 |𝑆2 … 𝑆𝑛−1 ≤ ⋯ ≤ 𝐻 𝑆1 |𝑆2 , 𝑆3 ≤ 𝐻 𝑆1 |𝑆2 ≤ 𝐻 𝑆1

Exprimant le fait que la connaissance d’un nombre de plus en plus grande de sources
d’information 𝑆2 , 𝑆3 , 𝑆4 … 𝑆𝑛 diminue de plus en plus l’intérêt de l’information
apportée par 𝑆1
36