TD 1 - TIC - Master - Solution

Université Cadi Ayyad Année universitaire : 2018-2019
Faculté des Sciences Semlalia Théorie de l’information et du codage

Master C2I2S - Option : Electronique S3 - Master C2I2S
Marrakech
Solution du TD N◦ 1
Mohamed BOULOUIRD - m.boulouird@uca.ac.ma
Exercice 1 :
1. La quantité d’information d’une lettre si de la source S est définie par :
I(S = si ) = − log2 P (S = si ) (1)
En appliquant la définition, les quantités demandées sont :
I(s1 ) = I(s2 ) = 2 Sh
I(s3 ) = I(s4 ) = 3 Sh
I(s5 ) = I(s6 ) = I(s7 ) = I(s8 ) = 4 Sh
2. L’entropie de la source S est la valeur moyenne des quantités d’information des symboles si .
C’est-à-dire :
∑
8
H(S) = P (S = si )I(S = si ) = 2.75 Sh/symbole (2)
i=1
3. La valeur maximale de H(S) est déterminée par l’application du théorème de la maximisation

d’entropie. Puisque la source possède un alphabet de 8 symboles, alors :
Hmax (S) = log2 8 = 3 Sh/symbole
4. Définition de la redondance d’une source :

L’excès de l’entropie maximale sur l’entropie réelle rapporté ou non à cette même entropie
maximale s’appelle Redondance. Elle s’exprime en pourcentage :
Hmax (S) − H(S)

R(S) =
Hmax (S)
H(S)
= 1− (3)
Hmax (S)
Donc la redondance de la source S est :

2.75
R(S) = 1 − = 8.33%
3
1
Exercice 2 :
1. Puisque ce système possède trois lampes qui peuvent être soit éteintes soit allumées, il y a 23 = 8
combinaisons possibles. Huit (8) symboles différents peuvent donc être émis.
Donc, cette source est constituée d’un alphabet de 8 symboles ou lettres.
2. D’après le théorème de la maximisation d’entropie, l’entropie de cette source est maximale
lorsque ces symboles sont équiprobables.
Donc :
H(S)max = log2 (8)

= 3 Sh/Symbole (4)
3. 3.1. Si seulement trois symboles sont utilisés, et si ils sont équiprobables, la quantité d’infor-
mation moyenne qu’ils peuvent apporter ou l’entropie réelle de la source est :
H(S) = log2 (3)

= 1.585 Sh/Symbole (5)
3.2. La redondance de cette source est :

1.585
R(S) = 1 −
3
= 47.17% (6)
Exercice 3 :
On a une source binaire, c-à-d que S = {0, 1}. L’extension d’ordre deux de cete source est :
S = {s1 , s2 , s3 , s4 } où :
2
s1 = (0, 0), s2 = (0, 1), s3 = (1, 0), s4 = (1, 1)
Puisque la source S est sans mémoire, alors :
P (s1 ) = P (0, 0) = P (0)2
P (s2 ) = P (s3 ) = P (0)P (1)
P (s4 ) = P (1)2
Donc :
∑
4
H(S 2 ) = − P (si ) log2 P (si )
i=1
= −P (0)2 log2 P (0)2 − 2 P (0)P (1) log2 (P (0)P (1)) − P (1)2 log2 P (1)2
= −2P (0) (P (0) + P (1)) log2 P (0) − 2P (1) (P (0) + P (1)) log2 P (1)
= 2H(S) (7)
N.B : Ce résultat peut être généralisé à l’ordre n pour toute source sans mémoire qui n’est pas
forcément binaire.
H(S n ) = nH(S) (8)
2
Exercice 4 :
1. L’entropie de cette source est :

2 2 3 3
H(S) = − log2 ( ) − log2 ( )
5 5 5 5
= 0.97 Sh/Symbole (9)
2. Le débit moyen de cette source est défini par :

1
DS =
× 2
5 10−3
+ 35 × 2 × 10−3
= 625 symbole/s (10)
3. Son taux d’émission est donc égal à :
τ (S) = DS H(S)
= 606, 25 Sh/s (11)
Exercice 5 :
1. On a :
H(X/Y )
ρ = 1−
H(X)
H(X) − H(X/Y )
=
H(X)
En exploitant les définitions de H(X) et H(X/Y ), on obtient :
I(X, Y )
ρ= (12)
H(X)
2. En utilisant le théorème, I(X, Y ) ≥ 0, alors, 0 ≤ ρ. (égalité si X et Y sont indépendants)

I(X, Y ) ≤ H(X), alors ρ ≤ 1. (égalité si X et Y sont égales).
Exercice 6 :
1. Le schéma du canal est le suivant :
3
2. Pour calculer l’entropie de la sortie du canal H(Y ), on va d’abord calculer les probabilités des
symboles reçus à l’aide du théorème de Bayes :
P (Y = y1 ) = P (Y = y1 /X = x1 )P (X = x1 )
= 0.36
P (Y = y2 ) = P (Y = y2 /X = x1 )P (X = x1 ) + P (Y = y2 /X = x2 )P (X = x2 )
= 0.32
P (Y = y3 ) = P (Y = y3 /X = x1 )P (X = x1 )+
P (Y = y3 /X = x2 )P (X = x2 ) + P (Y = y3 /X = x3 )P (X = x3 ) = 0.32
Par suite :
H(Y ) = 1.583 Sh/symbole
3. Par définition, l’entropie conditionnelle de Y sachant X est :
∑
3
H(Y /X) = P (X = xi )H(Y /X = xi ) (13)
i=1
et comme l’entropie de Y conditionnelle à X = xi est :
∑
3
H(Y /X = xi ) = − P (Y = yj /X = xi ) log2 P (Y = yj /X = xi ) (14)
j=1
Alors :
3 3 3 1 1 1
H(Y /X = x1 ) = − log2 ( ) − log2 ( ) − log2 ( )
5 5 5 5 5 5
= 1.371 Sh/symbole
2 2 1 1
H(Y /X = x2 ) = − log2 ( ) − log2 ( )
3 3 3 3
= 0.918 Sh/symbole
H(Y /X = x3 ) = −1 log2 (1)

= 0 Sh/symbole
Enfin :
H(Y /X) = P (X = x1 )H(Y /X = x1 ) + P (X = x2 )H(Y /X = x2 )+

P (X = x3 )H(Y /X = x3 ) = 1.098 Sh/symbole
4. En appliquant la propriété I(X, Y ) = H(Y ) − H(Y /X), on retrouve :
I(X, Y ) = H(Y ) − H(Y /X)

= 0, 485 Sh/symbole

TD 1 - TIC - Master - Solution

Transféré par

Droits d'auteur :

Formats disponibles

TD 1 - TIC - Master - Solution

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

TD 1 - TIC - Master - Solution

Transféré par

Droits d'auteur :

Formats disponibles

Université Cadi Ayyad Année universitaire : 2018-2019

Faculté des Sciences Semlalia Théorie de l’information et du codage

Mohamed BOULOUIRD - m.boulouird@uca.ac.ma

1. La quantité d’information d’une lettre si de la source S est déﬁnie par :

I(S = si ) = − log2 P (S = si ) (1)

En appliquant la déﬁnition, les quantités demandées sont :

I(s5 ) = I(s6 ) = I(s7 ) = I(s8 ) = 4 Sh

3. La valeur maximale de H(S) est déterminée par l’application du théorème de la maximisation

Hmax (S) = log2 8 = 3 Sh/symbole

4. Déﬁnition de la redondance d’une source :

Hmax (S) − H(S)

Donc la redondance de la source S est :

H(S)max = log2 (8)

H(S) = log2 (3)

3.2. La redondance de cette source est :

s1 = (0, 0), s2 = (0, 1), s3 = (1, 0), s4 = (1, 1)

Puisque la source S est sans mémoire, alors :

P (s1 ) = P (0, 0) = P (0)2

P (s2 ) = P (s3 ) = P (0)P (1)

H(S n ) = nH(S) (8)

1. L’entropie de cette source est :

2. Le débit moyen de cette source est déﬁni par :

3. Son taux d’émission est donc égal à :

En exploitant les déﬁnitions de H(X) et H(X/Y ), on obtient :

2. En utilisant le théorème, I(X, Y ) ≥ 0, alors, 0 ≤ ρ. (égalité si X et Y sont indépendants)

1. Le schéma du canal est le suivant :

3. Par déﬁnition, l’entropie conditionnelle de Y sachant X est :

et comme l’entropie de Y conditionnelle à X = xi est :

H(Y /X = x3 ) = −1 log2 (1)

H(Y /X) = P (X = x1 )H(Y /X = x1 ) + P (X = x2 )H(Y /X = x2 )+

4. En appliquant la propriété I(X, Y ) = H(Y ) − H(Y /X), on retrouve :

I(X, Y ) = H(Y ) − H(Y /X)

Vous aimerez peut-être aussi