L’exploration structurée permet aux cerveaux biologiques d’apprendre plus rapidement que l’IA

Des chercheurs du Sainsbury Wellcome Center et de l’unité de neurosciences computationnelles Gatsby de l’UCL ont découvert que les courses exploratoires instinctives que les animaux effectuent ne sont pas aléatoires. Ces actions ciblées permettent aux souris d’apprendre efficacement une carte du monde. L’étude, publiée aujourd’hui dans Neuronedécrit comment les neuroscientifiques ont testé leur hypothèse selon laquelle les actions exploratoires spécifiques que les animaux entreprennent, comme se précipiter rapidement vers des objets, sont importantes pour les aider à apprendre à naviguer dans leur environnement.

“Il existe de nombreuses théories en psychologie sur la façon dont l’exécution de certaines actions facilite l’apprentissage. Dans cette étude, nous avons testé si le simple fait d’observer les obstacles dans un environnement était suffisant pour en savoir plus, ou si des actions ciblées et guidées par les sens aident les animaux à construire un système cognitif. carte du monde », a déclaré le professeur Tiago Branco, chef de groupe au Sainsbury Wellcome Center et auteur correspondant de l’article.

Dans des travaux antérieurs, les scientifiques de SWC ont observé une corrélation entre la façon dont les animaux apprennent à contourner un obstacle et le nombre de fois qu’ils ont couru vers l’objet. Dans cette étude, Philip Shamash, étudiant au doctorat SWC et premier auteur de l’article, a mené des expériences pour tester l’impact d’empêcher les animaux d’effectuer des parcours exploratoires. En exprimant une protéine activée par la lumière appelée channelrhodopsin dans une partie du cortex moteur, Philip a pu utiliser des outils optogénétiques pour empêcher les animaux d’initier des courses exploratoires vers des obstacles.

L’équipe a découvert que même si les souris avaient passé beaucoup de temps à observer et à renifler les obstacles, si elles étaient empêchées de courir vers eux, elles n’apprenaient pas. Cela montre que les actions exploratoires instinctives elles-mêmes aident les animaux à apprendre une carte de leur environnement.

Pour explorer les algorithmes que le cerveau pourrait utiliser pour apprendre, l’équipe a travaillé avec Sebastian Lee, doctorant dans le laboratoire d’Andrew Saxe au SWC, pour exécuter différents modèles d’apprentissage par renforcement que les gens ont développés pour les agents artificiels, et observer lequel est le plus reproduit fidèlement le comportement de la souris.

Il existe deux classes principales de modèles d’apprentissage par renforcement : sans modèle et basé sur un modèle. L’équipe a découvert que dans certaines conditions, les souris agissent sans modèle, mais dans d’autres conditions, elles semblent avoir un modèle du monde. Les chercheurs ont donc implémenté un agent capable d’arbitrer entre sans modèle et basé sur un modèle. Ce n’est pas nécessairement ainsi que fonctionne le cerveau de la souris, mais cela les a aidés à comprendre ce qui est requis dans un algorithme d’apprentissage pour expliquer le comportement.

“L’un des problèmes de l’intelligence artificielle est que les agents ont besoin de beaucoup d’expérience pour apprendre quelque chose. Ils doivent explorer l’environnement des milliers de fois, alors qu’un vrai animal peut apprendre un environnement en moins de dix minutes. Nous pensons que c’est en partie parce que, contrairement aux agents artificiels, l’exploration des animaux n’est pas aléatoire et se concentre plutôt sur des objets saillants. Ce type d’exploration dirigée rend l’apprentissage plus efficace et ils ont donc besoin de moins d’expérience pour apprendre », explique le professeur Branco.

Les prochaines étapes pour les chercheurs sont d’explorer le lien entre l’exécution des actions exploratoires et la représentation des sous-objectifs. L’équipe effectue actuellement des enregistrements dans le cerveau pour découvrir quelles zones sont impliquées dans la représentation des sous-objectifs et comment les actions exploratoires conduisent à la formation des représentations.

Cette recherche a été financée par une bourse de recherche Wellcome Senior (214352/Z/18/Z) et par le Sainsbury Wellcome Center Core Grant de la Gatsby Charitable Foundation and Wellcome (090843/F/09/Z), le Sainsbury Wellcome Center PhD Program et une bourse Sir Henry Dale du Wellcome Trust and Royal Society (216386/Z/19/Z).