Claude Shannon

Claude Elwood Shannon, né le 30 avril 1916 à Petoskey (Michigan) et mort le 24 février 2001 à Medford (Massachusetts), est un ingénieur en génie électrique et mathématicien américain. Il est l'un des pères, si ce n'est le père fondateur, de la théorie de l'information. Il est en 1956 l'un des organisateurs de la conférence de Dartmouth, considérée comme importante dans l'histoire de l'intelligence artificielle.

Claude Shannon

Claude Shannon vers 1963.

Biographie

Naissance	30 avril 1916 Petoskey
Décès	24 février 2001 (à 84 ans) Medford
Sépulture	Cimetière de Mount Auburn
Nom dans la langue maternelle	Claude Elwood Shannon
Nationalité	américaine
Domicile	Gaylord
Formation	Gaylord High School (en) (jusqu'en 1932) Université du Michigan (1932-1936) Institut de technologie du Massachusetts (1936-1940)
Activités	Mathématicien, professeur d'université, ingénieur, inventeur, cryptographe, informaticien, généticien
Conjoints	Norma Barzman (de 1939 à 1941) Betty Shannon (en) (à partir de 1949)

Autres informations

A travaillé pour	Institut de technologie du Massachusetts (1957-2020) Laboratoires Bell (1941-1958) Institute for Advanced Study (1940-1941)
Membre de	Académie américaine des sciences (1956) Académie américaine des arts et des sciences (1957) Académie Léopoldine (1970) Académie royale néerlandaise des arts et des sciences (1975) Société américaine de philosophie (1983) Royal Society (1991)
Sport	Sport cycliste
Directeurs de thèse	Frank Lauren Hitchcock (en), Vannevar Bush
Influencé par	Vannevar Bush, Ralph Hartley
Distinctions	Liste détaillée Alfred Noble Prize (1939) Médaille commémorative IEEE Morris N. Liebmann (1949) Médaille Stuart-Ballantine (en) (1955) Conférence Gibbs (1963) National Medal of Science (1966) IEEE Medal of Honor (1966) Prix Claude-Shannon (1972) Prix Harvey (1972) Edwin Howard Armstrong Achievement Award (1973) Prix Harold-Pender (1978) Médaille John Fritz (en) (1983) Kyoto Prize in Basic Sciences (1985) Membre étranger de la Royal Society (1991) Prix Marconi (2000) National Inventors Hall of Fame (2004)
Archives conservées par	Bibliothèques de l'Institut de technologie du Massachusetts (en) (MC-0386)

Œuvres principales

Une théorie mathématique de la communication, A Symbolic Analysis of Relay and Switching Circuits (d), théorème d'échantillonnage, théorème du codage de source, deuxième théorème de Shannon

Biographie

Jeunesse et études

Il étudie le génie électrique et les mathématiques à l'université du Michigan dont il est diplômé en 1936. Il utilise notamment l'algèbre de Boole pour sa maîtrise soutenue en 1938 au Massachusetts Institute of Technology (MIT). Il y explique comment construire des machines à relais en utilisant l'algèbre de Boole pour décrire l'état des relais (1 : fermé, 0 : ouvert)^{[réf. souhaitée]}. Il obtient un doctorat (PhD) en mathématiques au MIT en 1940.

En 1939, il épouse l’écrivaine Norma Levor, le couple vit à Princeton (New Jersey) mais divorce en 1941.

Période laboratoires Bell et MIT

Shannon travaille vingt ans au MIT, de 1958 à 1978. Parallèlement à ses activités universitaires, il travaille aussi aux laboratoires Bell de 1941 à 1972.

En 1949, il se marie avec Mary Elizabeth Moore, avec qui il aura trois enfants.

Maladie et mort

Souffrant de la maladie d'Alzheimer dans les dernières années de sa vie, Claude Shannon est mort à 84 ans le 24 février 2001 à Medford dans le Massachusetts.

Personnalité

Le Minivac 601, un ordinateur d'apprentissage conçu par Claude Shannon (1961).

Claude Shannon est connu non seulement pour ses travaux dans les télécommunications, mais aussi pour l'étendue et l'originalité de ses hobbies, comme la jonglerie, la pratique du monocycle et l'invention de machines farfelues : une souris mécanique sachant trouver son chemin dans un labyrinthe, un robot jongleur, un joueur d'échecs (roi tour contre roi), etc.

L'un de ces « gadgets » présente toutefois un grand intérêt conceptuel, comme le montrent Philippe Boulanger et Alain Cohen dans Le Trésor des paradoxes (Éditions Belin, 2007) : « Claude Shannon voulut élaborer une « machine inutile », sans finalité : on la met en marche en appuyant, comme sur tout dispositif électromécanique, sur une touche « on » ; mais les choses prennent alors une tournure surprenante, car cette mise sous tension déclenche un mécanisme provoquant aussitôt l’arrêt du gadget en mettant l’interrupteur sur « off ».

Travaux

Pendant la Seconde Guerre mondiale, Shannon travaille pour les services secrets de l'armée américaine, en cryptographie, chargé de localiser de manière automatique dans le code ennemi les parties signifiantes cachées au milieu du brouillage. Son travail est exposé dans un rapport secret (déclassifié dans les années 1980 seulement), qui donne naissance après-guerre à un article, A Mathematical Theory of Communication (1948), qui fut repris en 1949 sous forme de livre publié par l'université de l'Illinois avec les commentaires de Warren Weaver, coordonnateur (Mattelart et Mattelart, 2004) dans les services secrets. Cet ouvrage est centré autour de la problématique de la transmission du signal.

Schéma de Shannon

Modèle de Shannon - Communication.

Pour décrire la communication entre machines, l'article de 1948 et le livre de 1949 commencent tous deux par un « schéma », appelé schéma de Shannon ou modèle de Shannon et Weaver. Le schéma modélise la communication entre machines :

Ce schéma est la traduction « civile » d'un schéma préalable, utilisé dans le contexte militaire :

source → encodeur → signal → décodeur → destinataire, dans un contexte de brouillage.

Conçu pour décrire la communication entre machines, ce schéma ne prétend pas traiter exhaustivement de la communication humaine, mais son succès est suffisant pour lui mériter l'attention et des compliments de Léon Brillouin, et il a participé largement à la création d'un champ disciplinaire : les sciences de l'information et de la communication. Shannon s'étonna de ce phénomène et s'en dissocia^{[réf. nécessaire]}. Cette méthode est compatible avec une approche béhavioriste des médias. Par ailleurs, ce schéma dit canonique donne un cadre mathématique à des concepts avant lui plus flous. Ce cadre sera utilisé pour expliquer le codage de Huffman, puis des compresseurs comme ceux de Lempel-Ziv. Il sera enfin utilisé par Benoît Mandelbrot pour expliquer et rectifier la Loi de Zipf.

Shannon : l'unité de mesure

Dans l'article comme dans son livre, Claude Shannon popularise l'utilisation du mot bit comme mesure élémentaire de l'information numérique. John Tukey fut néanmoins le premier à utiliser le terme. Plus précisément, le bit désigne un chiffre binaire permettant de coder une quantité d'information. Ainsi, il faut au moins un bit (ou 1 Shannon^{[réf. nécessaire]}) pour coder deux états (par exemple « pile » et « face », ou plus généralement 0 et 1) et deux bits permettent de coder quatre états (00, 01, 10, 11). Les 26 lettres de l'alphabet nécessitent au minimum 5 bits car : $(2^{4}=16)<26\leq (2^{5}=32)$

Plus généralement, si $P$ est le nombre d'états possibles, le nombre de bits minimum n nécessaire pour les coder tous vérifie :

$2^{(n-1)}<P\leq 2^{n}$ (autrement dit, n est le plafond du logarithme binaire de P : $n=\lceil log_{2}P\rceil$)

Dans un cas idéal où toute l'information disponible est utilisée, $P=2^{n}$.

Si les signes ne sont pas équiprobables (ce qui est le cas des lettres dans un message en langue naturelle), on peut obtenir un codage statistiquement plus court, en représentant les lettres fréquentes par des signaux courts (comme dans le code Morse).

Relation de Shannon

Dans le domaine des télécommunications, la relation de Shannon permet de calculer la valence (ou nombre maximal d'états) en milieu perturbé :

Soit S la puissance du signal, N la puissance du bruit :

$n={\sqrt {1+{\frac {S}{N}}}}$

On a alors le débit maximal d'un canal de communication de bande passante H :

$\displaystyle H={\log }_{2}(1+{\frac {S}{N}})$

Ce résultat est indépendant de la vitesse d'échantillonnage et du nombre de niveaux d'un échantillon (la valence).

Entropie au sens de Shannon

Un apport essentiel des travaux de Shannon concerne la notion d'entropie. Si l'on considère N événements de probabilité p₁, p₂… p_N, indépendants les uns des autres, alors leur entropie de Shannon est définie comme :

Entropie = $-\sum _{i=1}^{N}p_{i}\log _{2}(p_{i})$

Il a par ailleurs :

• établi un rapport entre augmentation d'entropie et gain d'information ;
• montré l'équivalence de cette notion avec l’entropie de Ludwig Boltzmann en thermodynamique.

La découverte du concept ouvrait ainsi la voie aux méthodes dites d'entropie maximale (voir probabilité), donc au scanner médical, à la reconnaissance automatique des caractères et à l'apprentissage automatique.

Théorèmes

Son nom est associé à plusieurs théorèmes, le théorème d'échantillonnage de Nyquist-Shannon sur l'échantillonnage (aussi appelé critère de Shannon), le premier théorème de Shannon sur la limite théorique de la compression, le deuxième théorème de Shannon sur la capacité d'un canal de transmission.

En dehors de la théorie de l'information

En 1981, Claude Shannon a commencé à écrire un article intitulé Scientific Aspects of Juggling, sur l'art de la jonglerie. Cet article était prévu pour être publié dans Scientific American, mais ce ne fut finalement pas le cas. Néanmoins, cette ébauche a servi de base à la formalisation des mouvements de jonglerie par le siteswap.

Au jeu d'échecs, il a estimé le nombre de parties différentes possibles ayant un sens échiquéen (nombre à distinguer du nombre, beaucoup plus élevé, de parties possibles que permettent les règles du jeu). Ce nombre est estimé à 10¹²⁰ et porte le nom de nombre de Shannon.

Hommages

Le prix Claude-Shannon est décerné par l'association pour la théorie de l'information de l'IEEE depuis 1972, pour honorer les contributions importantes à ce domaine.

L'année 2016 marque le centenaire de sa naissance. La Société mathématique de France annonce une conférence de Josselin Garnier à la Bibliothèque nationale de France : Claude Shannon et l'avènement de l'ère numérique (13 avril 2016) et l'Institut Henri-Poincaré organise avec le Conservatoire national des arts et métiers l'exposition temporaire : Claude Shannon : le magicien des codes.

Dans son roman, La Théorie de l'information (2012), Aurélien Bellanger rend hommage au travail de Shannon. Claude Shannon est un personnage central du livre de James Gleick L'information : L'histoire - La théorie - Le déluge (Cassini, 2015, pour la traduction française).

Voir aussi

Articles connexes

• Théorème d'échantillonnage de Nyquist-Shannon
• Théorie de l'information
• A Mathematical Theory of Communication
• Communication
• Message (communication)
• Inférence bayésienne
• Cybernétique
• Norbert Wiener
• Nombre de Shannon
• Lothar Budach

Bibliographie

• Mattelart A. et Mattelart M., Histoire des théories de la communication, 3^e édition, Éditions La Découverte, Paris, 2004
• Claude E. Shannon, A Symbolic Analysis of Relay and Switching Circuits, Thesis (M.S.), Massachusetts Institute of Technology, Dept. of Electrical Engineering, 1940 (lire)
• Claude E. Shannon, A Mathematical Theory of Communication, Bell System Technical Journal, vol. 27, p. 379-423 et 623-656, juillet et octobre 1948 (ISBN 0252725484) (lire [PDF])
• Claude E. Shannon, Communication Theory of Secrecy Systems, Bell System Technical Journal, Vol 28, p. 656-715, octobre 1949. (lire)
• Claude E. Shannon et Warren Weaver, The Mathematical Theory of Communication, The University of Illinois Press, Urbana, Illinois, 1949. (ISBN 0-252-72548-4). Trad. fr. Claude Shannon et Warren Weaver: La théorie mathématique de la communication, Cassini, Paris, 2018. (ISBN 978-2-84225-222-9)

Liens externes

• Creative Thinking, Claude Shannon aux Bell Lab. 20 mars 1952

• Ressources relatives à la recherche :
  • Digital Bibliography & Library Project
  • Google Scholar
  • Mathematics Genealogy Project
  • Scopus
• Notices dans des dictionnaires ou encyclopédies généralistes :

  • American National Biography
  • Britannica
  • Brockhaus
  • Den Store Danske Encyklopædi
  • Deutsche Biographie
  • Gran Enciclopèdia Catalana
  • Hrvatska Enciklopedija
  • Nationalencyklopedin
  • Store norske leksikon
  • Treccani
  • Universalis
• Notices d'autorité :

  • VIAF
  • ISNI
  • BnF (données)
  • IdRef
  • LCCN
  • GND
  • Japon
  • CiNii
  • Espagne
  • Pays-Bas
  • Pologne
  • Israël
  • NUKAT
  • Catalogne
  • Australie
  • Norvège
  • Croatie
  • Tchéquie
  • WorldCat