Des économies d’énergie significatives grâce au matériel neuromorphique

La recherche a été financée par The Human Brain Project (HBP), l’un des plus grands projets de recherche au monde avec plus de 500 scientifiques et ingénieurs à travers l’Europe qui étudient le cerveau humain. Les résultats de la recherche sont publiés dans le document de recherche “Memory for AI Applications in Spike-based Neuromorphic Hardware” (DOI 10.1038/s42256-022-00480-w) qui est publié dans Intelligence des machines naturelles.

Le cerveau humain comme modèle

Les machines intelligentes et les ordinateurs intelligents capables de reconnaître et de déduire de manière autonome des objets et des relations entre différents objets font l’objet de recherches mondiales sur l’intelligence artificielle (IA). La consommation d’énergie est un obstacle majeur sur la voie d’une application plus large de ces méthodes d’IA. On espère que la technologie neuromorphique fournira un coup de pouce dans la bonne direction. La technologie neuromorphique est calquée sur le cerveau humain, qui utilise très efficacement l’énergie. Pour traiter l’information, ses cent milliards de neurones ne consomment qu’environ 20 watts, soit à peine plus d’énergie qu’une ampoule à économie d’énergie moyenne.

Dans la recherche, le groupe s’est concentré sur les algorithmes qui fonctionnent avec des processus temporels. Par exemple, le système devait répondre à des questions sur une histoire racontée précédemment et saisir les relations entre les objets ou les personnes du contexte. Le matériel testé était composé de 32 puces Loihi.

Puce de recherche Loihi : jusqu’à seize fois plus économe en énergie que le matériel non neuromorphique

“Notre système est quatre à seize fois plus économe en énergie que les autres modèles d’IA sur du matériel conventionnel”, déclare Philipp Plank, doctorant à l’Institut d’informatique théorique de TU Graz. Plank s’attend à des gains d’efficacité supplémentaires à mesure que ces modèles migrent vers la prochaine génération de matériel Loihi, ce qui améliore considérablement les performances de la communication puce à puce.

“Les puces de recherche Loihi d’Intel promettent d’apporter des gains en IA, notamment en réduisant leur coût énergétique élevé”, a déclaré Mike Davies, directeur du Neuromorphic Computing Lab d’Intel. “Notre travail avec TU Graz fournit plus de preuves que la technologie neuromorphique peut améliorer l’efficacité énergétique des charges de travail d’apprentissage en profondeur d’aujourd’hui en repensant leur mise en œuvre du point de vue de la biologie.”

Imiter la mémoire humaine à court terme

Dans leur réseau neuromorphique, le groupe a reproduit un mécanisme de mémoire présumé du cerveau, comme l’explique Wolfgang Maass, directeur de thèse de Philipp Plank à l’Institut d’informatique théorique : « Des études expérimentales ont montré que le cerveau humain peut stocker des informations pendant une courte période du temps même sans activité neurale, à savoir dans les soi-disant « variables internes » des neurones. Les simulations suggèrent qu’un mécanisme de fatigue d’un sous-ensemble de neurones est essentiel pour cette mémoire à court terme. »

La preuve directe fait défaut car ces variables internes ne peuvent pas encore être mesurées, mais cela signifie que le réseau n’a qu’à tester quels neurones sont actuellement fatigués pour reconstruire les informations qu’il a précédemment traitées. En d’autres termes, les informations précédentes sont stockées dans la non-activité des neurones, et la non-activité consomme le moins d’énergie.

Symbiose du réseau récurrent et feed-forward

Les chercheurs relient à cette fin deux types de réseaux d’apprentissage en profondeur. Les réseaux neuronaux de rétroaction sont responsables de la “mémoire à court terme”. De nombreux modules dits récurrents de ce type filtrent les éventuelles informations pertinentes du signal d’entrée et les stockent. Un réseau d’anticipation détermine ensuite lesquelles des relations trouvées sont très importantes pour résoudre la tâche à accomplir. Les relations sans signification sont éliminées, les neurones ne se déclenchent que dans les modules où des informations pertinentes ont été trouvées. Ce processus conduit finalement à des économies d’énergie.

“Les structures neuronales récurrentes devraient fournir les plus grands gains pour les applications fonctionnant sur du matériel neuromorphique à l’avenir”, a déclaré Davies. “Le matériel neuromorphique comme Loihi est particulièrement adapté pour faciliter les modèles d’activité réseau rapides, clairsemés et imprévisibles que nous observons dans le cerveau et qui nécessitent les applications d’IA les plus économes en énergie.”

Cette recherche a été soutenue financièrement par Intel et l’European Projet sur le cerveau humain, qui relie les neurosciences, la médecine et les technologies inspirées du cerveau dans l’UE. A cet effet, le projet crée une infrastructure permanente de recherche numérique, EBRAINS. Ce travail de recherche est ancré dans les Domaines d’expertiseHumain et Biotechnologie et Information, communication et informatiquedeux des cinq domaines d’expertise de TU Graz.

Source de l’histoire :

Matériaux fourni par Université de technologie de Graz. Original écrit par Christoph Pelzl. Remarque : Le contenu peut être modifié pour le style et la longueur.