Le lien entre le Deep Learning et la nature profonde de l’univers

Personne ne comprend pourquoi les réseaux de Deep Learning connus comme des Deep Neural Networks sont tellement efficaces pour résoudre les problèmes complexes. Mais désormais, des physiciens estiment que le secret de cette efficacité se base sur les lois de la physique.


Personne ne comprend pourquoi les réseaux de Deep Learning connus comme des Deep Neural Networks sont tellement efficaces pour résoudre les problèmes complexes. Mais désormais, des physiciens estiment que le secret de cette efficacité se base sur les lois de la physique.

Ces dernières années, le a révolutionné le monde de l’intelligence artificielle. Les capacités et les techniques imaginées par les humains sont progressivement déployées dans des machines de plus en plus puissantes. Les réseaux neuronaux d’apprentissage profond () surpassent les humains sur des tâches telles que la reconnaissance faciale ou d’objets. Ils ont maitrisé l’ancien jeu de Go et ils ont pulvérisé des champions du monde.

Mais il y a juste un problème. Il n’y a aucune raison qui explique pourquoi des réseaux arrangés par couche sont efficaces face à ces défis. Les mathématiciens sont paumés et malgré le grand succès des réseaux neuronaux de Deep Learning, on ne sait pas trop comment ça fonctionne.

Mais on a désormais des réponses possibles grâce à des travaux de Henry Lin de l’université d’Harvard et Max Tegmark du MIT. Les mathématiciens sont perdus parce que la réponse dépend de la nature de l’univers. En d’autres termes, la réponse se base sur les principes physiques plutôt que mathématiques.

On peut prendre un exemple d’une image en niveaux de gris d’un mégaoctet et l’algorithme doit identifier si c’est un chien ou un chat. Une telle image est composée d’un million de pixels avec chaque pixel qui peut prendre une des 256 valeurs en niveaux de gris. En théorie, il y a donc 2561000000 d’images possibles et on doit analyser chaque image pour voir si c’est un chien ou un chat. Mais les réseaux de Deep Learning, avec plus d’une centaine de millions de paramètres, peuvent effectuer cette classification avec une grande facilité.

Dans le langage des mathématiques, les réseaux neuronaux fonctionnent en transformant des fonctions mathématiques complexes en des formes simples. Pour classer les images de chiens ou de chats, le réseau neuronal doit implémenter une fonction qui prend un million de pixels en niveau de gris comme une entrée et il doit sortir une probabilité de distribution comme sa sortie. Le problème est que les ordres de grandeur des fonctions mathématiques complexes sont supérieurs à la capacité des réseaux de Deep Learning et pourtant, les algorithmes donnent la bonne réponse la plupart du temps.

La réponse est que l’univers est gouverné par un petit ensemble de toutes les fonctions possibles. En d’autres termes, quand les lois de la sont écrites avec les mathématiques, alors on peut les décrire en intégralité avec un ensemble de propriétés très simples. De ce fait, les réseaux de Deep Learning n’ont pas besoin d’analyser toutes les images, mais seulement une fraction.

Pour le mettre en perspective, on peut considérer la grandeur d’une fonction polynomiale qui est la taille de son plus grand exposant. Donc, une équation quadratique telle que y=x2 possède une grandeur de 2, l’équation y=x24 possède une grandeur de 24 et ainsi de suite. Évidemment, le nombre de grandeurs est infini, mais seul un petit sous-ensemble de polynomial apparait dans les lois de la physique. Pour des raisons qu’on ne comprend pas encore totalement, notre univers peut être décrit précisément par des polynomiaux Hamiltoniens d’une faible grandeur selon Lin et Tegmark. En moyenne, les polynomiaux qui décrivent les lois de la physique possèdent des grandeurs allant de 2 à 4.

Les lois de la physique possèdent d’autres propriétés importantes. Par exemple, elles sont habituellement symétriques pour la rotation et la conversion. Faites pivoter un chat ou un chien en 360 degrés et l’apparence sera la même. Une conversion de l’image en 10 mètres, en 100 mètres et même en 1000 mètres et elle restera la même malgré quelques différences. Ces 2 processus simplifient l’identification du chat et du chien.

L’univers possède une autre propriété qui est exploitée par les réseaux de Deep Learning. C’est la hiérarchie de sa structure. Les particules élémentaires forment des atomes qui forment des molécules qui forment des cellules qui forment des organismes jusqu’aux planètes et aux galaxies. Et les structures les plus complexes commencent toujours avec des étapes très simples.

Et c’est pourquoi la structure des réseaux neuronaux est également importante. Les couches de ces réseaux peuvent simplifier chaque étape dans la séquence causale. Lin et Tegmark donnent l’exemple du fond diffus cosmologique, la lueur laissée après le Big Bang. Ces dernières années, de nombreux satellites ont cartographié ce rayonnement en très haute résolution. Et évidemment, les physiciens ont cherché l’origine des formes sur cette carte.

Tegmark et Lin pointent le fait que quelle que soit la raison, c’est certainement le résultat d’une hiérarchie causale. Un ensemble de paramètres cosmologiques (la densité de la matière noire par exemple) détermine le spectre de puissance des fluctuations de densité dans notre univers qui détermine le pattern du fond diffus cosmologique que nous pouvons voir aujourd’hui.

Chacune de ces couches causales va contenir de plus en plus de données. Il n’y a que quelques paramètres cosmologiques, mais les cartes et le bruit qu’ils contiennent sont composés de millions de chiffres. L’objectif de la physique est d’analyser les grands chiffres pour découvrir les valeurs les plus simples. Et quand un phénomène possède cette structure hiérarchique, alors les réseaux neuronaux facilitent énormément le processus d’analyse.

Nous avons montré que le succès du Deep Learning ne dépend pas uniquement des mathématiques, mais également de la physique qui favorise certaines classes de probabilités de distribution extrêmement simples selon les conclusions des chercheurs. Ces travaux sont fascinants et importants pour d’autres implications. Les réseaux neuronaux artificiels se basent sur leurs homologues biologiques. De ce fait, les hypothèses de Lin et Tegmark expliquent non seulement l’efficacité du Deep Learning, mais également pourquoi les cerveaux humains sont efficaces pour comprendre l’univers ? L’évolution nous a donné une structure cérébrale qui nous permet de simplifier la complexité de l’univers.

Ces travaux vont permettre des progrès considérables dans l’. Si cette hypothèse est confirmée, alors les mathématiciens vont pouvoir explorer les propriétés mathématiques spécifiques pour augmenter l’efficacité du Deep Learning. Donc, résumons, les humains ont créé des machines qui imitent leurs cerveaux pour résoudre les problèmes beaucoup plus complexes que leurs capacités. Et pour nous, qui a codé le Deep Learning de notre cerveau pour comprendre les problèmes de cet univers ?

 

N'oubliez pas de voter pour cet article !
1 étoile2 étoiles3 étoiles4 étoiles5 étoiles (2 votes, average: 5,00 out of 5)
Loading...

Jacqueline Charpentier

Ayant fait une formation en chimie, il est normal que je me sois retrouvée dans une entreprise d'emballage. Désormais, je publie sur des médias, des blogs et des magazines pour vulgariser l'actualité scientifique et celle de la santé.

1 réponse

  1. sidoroff dit :

    juste un point de terminologie : on parle de polynome de dégré n et non de polynomail de grandeur n.

    Sion, merci pour cette intéressante réflexion sur l’efficacité mal comprise des réseaux de neurones artificiels ou humains

    Roger Penrose a écrit un ouvrage sur le sujet : L’esprit, l’ordinateur et les lois de la physique »

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *