Claude Shannon, 100 ans pour le père de l'âge de l'information

Étant un étudiant diplômé en ingénierie électrique au MIT, Claude Shannon utilisait beaucoup un analyseur différentiel qu’on peut comparer à l’ancêtre des ordinateurs. Mais pour sa thèse de master (PDF), il s’intéressait plus aux relais et aux switches dans les circuits électriques qui sont des composants qu’on trouve dans les réseaux téléphoniques. En 1937, il a produit, selon les mots du mathématicien Solomon Golomb, l’une des plus grandes thèses de l’histoire en établissant une connexion entre la logique symbolique et les mathématiques pour décrire de tels circuits. Les équations de Claude Shannon ont fonctionné pour les échanges téléphoniques, mais également pour tous les échanges dans les circuits électroniques. Et par cet exploit, il a permis de créer des ordinateurs dont la puissance nous aide dans chaque tâche de notre vie quotidienne.

Aujourd’hui, le 30 avril 2016, nous fêtons tous les accomplissements de Claude Shannon et à l’occasion du centenaire de sa naissance, il n’est pas présomptueux de considérer notre époque connectée comme le siècle de Shannon. Ce n’est pas exagéré écrit Golomb . On peut considérer Claude Shannon comme le père de l’âge de l’information et son accomplissement intellectuel est l’une des plus grandes de notre siècle.

Claude Shannon est surtout connu pour avoir créé une discipline scientifique à part entière qu’on connait comme la théorie de l’information qui a été publiée en 1948. Mais ces travaux se sont inspirés de sa thèse remarquable qui a été publiée 10 ans auparavant. Dans cette thèse, il a proposé des équations qui représentaient le comportement d’un circuit électrique. Le comportement d’un circuit dépend des interactions des relais et des switches qui connectent un terminal à un autre. Claude Shannon a cherché un calcul pour représenter mathématiquement les connexions d’un circuit. Et cela a permis aux scientifiques de créer des circuits efficaces pour différentes tâches. Par exemple, Claude Shannon a fourni des exemples de circuit pour une combinaison de verrou électronique.

Ci-dessus, quelques équations de Claude Shannon sur la théorie de l’information.

N’importe quel circuit est représenté par une série d’équations, les termes des équations correspondent aux différents relais et aux switches dans le circuit écrivait Shannon. Son calcul pour manipuler ces équations est exactement analogue au calcul des propositions utilisé dans l’étude symbolique de la logique.

En tant qu’étudiant en mathématique et en ingénierie électrique à l’université du Michigan, Claude Shannon avait beaucoup appris à partir des travaux de George Boole sur la représentation des déclarations logiques par des symboles algébriques. Boole a proposé un moyen de calculer des conclusions logiques concernant des propositions avec des nombres binaires. Le 1 pour une proposition vraie et le 0 pour une proposition fausse. Shannon a perçu l’analogie entre les propositions logiques de Boole et le flux du courant dans les circuits électriques. Si le circuit joue le rôle de la proposition, alors une proposition fausse (0) correspond à un circuit fermé et une proposition vraie (1) correspond à un circuit ouvert. Et des outils mathématiques plus élaborés ont permis de créer des designs électriques qui correspondent à l’addition et à la multiplication de ces logiques de base. Et cela nous a donné les portes logiques qu’on utilise encore dans les puces informatiques modernes.

Pour la dissertation de son doctorat, Shannon a analysé les mathématiques de la génétique dans les populations, mais ces travaux n’ont pas été publié. En 1941, il a commencé à travailler au Bell Labs et pendant la Seconde Guerre mondiale, il a écrit un papier important sur le chiffrement qui nécessitait des considérations profondes sur la manière de quantifier l’information. Après la guerre, il a pu développer pleinement ses idées. En utilisant ses anciens 1 et 0 ou bits, il a compris qu’on pouvait envoyer de l’information à travers des canaux de communication et comment optimiser ses communications.

En 1948, ses 2 papiers (envoi de l’information et son optimisation) ont été publiés dans le Bell System Technical Journal avec un chapitre d’introduction par Warren Weaver dans un livre intitulé The Mathematical Theory of Communication. Aujourd’hui, ce livre est considéré comme le document fondateur de la théorie de l’information. Pour Shannon, la communication ne concernait pas le message ou sa signification, mais la quantité d’information qu’on pouvait envoyer dans un message via un canal donné. Un message peut avoir un sens, mais il n’est pas pertinent au problème d’ingénierie de transférer le message d’un point à un autre selon Shannon. L’aspect important est que ce message actuel est celui qu’on sélectionne à partir d’un ensemble de messages possibles.

Shannon s’est surtout concentré pour anticiper des situations de plus en plus complexes sur l’envoi et la réception de l’information. Ses équations restent centrales pour la plupart des aspects de notre ère numérique. Shannon a défini les paramètres de transmission et de compression dans l’information numérique. Au-delà de ses applications pratiques, les travaux de Claude Shannon ont trouvé un écho scientifique considérable. Ses mathématiques, pour quantifier l’information en bits, s’inspirent des équations de la seconde loi de la thermodynamique. Claude Shannon n’est pas à l’origine du mot bits, mais il a anticipé son importance avant tout le monde. La seconde loi de la thermodynamique décrit le concept de l’entropie dans la probabilité des états d’un système donné. Et on retrouve le même concept de probabilité dans de nombreux aspects centraux de la théorie de l’information et en fait, Shannon a également considéré qu’il y avait de l’entropie dans sa théorie. Par la suite, on s’est posé des questions si l’entropie de la thermodynamique et celle de l’information était liée.

Shannon n’était pas sûr qu’il y avait un lien entre les 2. Mais au fil des années, ce lien conceptuel est devenu palpable dans des domaines aussi divers que la mécanique quantique, la biologie moléculaire et la physique des trous noirs. La compréhension de Claude Shannon sur l’information a été centrale pour expliquer pourquoi le démon de Maxwell ne peut pas violer la seconde loi de la thermodynamique. Sadi Carnot a discerné la seconde loi de la thermodynamique et on peut trouver des points communs entre Carnot et Shannon. Les 2 ont découvert des restrictions mathématiques sur des systèmes physiques qui étaient indépendants des détails du système. En d’autres termes, la limite de l’efficacité des moteurs à vapeur décrite par Carnot peut être appliqué à n’importe quel moteur quel que soit son design et son efficacité. De la même manière, Shannon a spécifié les limites sur la compression et la transmission de l’information indépendamment de la technologie pour compresser ou envoyer l’information.

Et c’est assez remarquable, car Carnot et Shannon ont découvert des limites qui ne peuvent pas être franchies indépendamment de toutes les inventions futures. Ces 2 scientifiques ont compris quelque chose de profond sur la réalité qui n’est pas limitée par l’espace et le temps. Et par ce fait, Claude Shannon n’a pas seulement révolutionné les mathématiques des circuits électriques, mais dans le fonctionnement même de la nature. Selon Thomas Cover, théoricien de l’information, Claude Shannon est l’un des esprits les plus brillants de notre siècle. Certains théorèmes de Shannon n’ont pas été prouvés à son époque, mais même ses intuitions les plus vagues ont été confirmées par la suite. Et quand on voit l’importance de la théorie de l’information dans les nouvelles disciplines scientifiques, alors on peut penser que l’intuition de Claude Shannon va encore nous donner de belles découvertes dans les années à venir.

---

Mes livres

Le Basilic de Roko	Mon parcours de rédacteur web	Science corrompue et servile	Nous, Tueurs en série