Les périodes hors ligne pendant la formation ont atténué “l’oubli catastrophique” dans les systèmes informatiques

“Le cerveau est très occupé lorsque nous dormons, répétant ce que nous avons appris pendant la journée”, a déclaré Maxim Bazhenov, PhD, professeur de médecine et chercheur sur le sommeil à la faculté de médecine de l’Université de Californie à San Diego. “Le sommeil aide à réorganiser les souvenirs et les présente de la manière la plus efficace.”

Dans de précédents travaux publiés, Bazhenov et ses collègues ont rapporté comment le sommeil construit la mémoire rationnelle, la capacité de se souvenir d’associations arbitraires ou indirectes entre des objets, des personnes ou des événements, et protège contre l’oubli de vieux souvenirs.

Les réseaux de neurones artificiels tirent parti de l’architecture du cerveau humain pour améliorer de nombreuses technologies et systèmes, de la science et de la médecine fondamentales à la finance et aux médias sociaux. À certains égards, ils ont atteint des performances surhumaines, telles que la vitesse de calcul, mais ils échouent sur un aspect clé : lorsque les réseaux de neurones artificiels apprennent de manière séquentielle, de nouvelles informations écrasent les informations précédentes, un phénomène appelé oubli catastrophique.

“En revanche, le cerveau humain apprend en permanence et intègre de nouvelles données dans les connaissances existantes”, a déclaré Bazhenov, “et il apprend généralement mieux lorsque la nouvelle formation est entrelacée avec des périodes de sommeil pour la consolidation de la mémoire.”

Écrit dans le numéro du 18 novembre 2022 de Biologie computationnelle PLOS, L’auteur principal Bazhenov et ses collègues discutent de la façon dont les modèles biologiques peuvent aider à atténuer la menace d’oubli catastrophique dans les réseaux de neurones artificiels, renforçant ainsi leur utilité dans un éventail d’intérêts de recherche.

Les scientifiques ont utilisé des réseaux de neurones à pointes qui imitent artificiellement les systèmes de neurones naturels : au lieu que les informations soient communiquées en continu, elles sont transmises sous forme d’événements discrets (pointes) à certains moments.

Ils ont constaté que lorsque les réseaux de pointe étaient entraînés sur une nouvelle tâche, mais avec des périodes hors ligne occasionnelles qui imitaient le sommeil, l’oubli catastrophique était atténué. Comme le cerveau humain, ont déclaré les auteurs de l’étude, le “sommeil” des réseaux leur a permis de rejouer d’anciens souvenirs sans utiliser explicitement d’anciennes données d’entraînement.

Les souvenirs sont représentés dans le cerveau humain par des modèles de poids synaptique – la force ou l’amplitude d’une connexion entre deux neurones.

“Lorsque nous apprenons de nouvelles informations”, a déclaré Bazhenov, “les neurones se déclenchent dans un ordre spécifique, ce qui augmente les synapses entre eux. Pendant le sommeil, les schémas de pointe appris pendant notre état d’éveil se répètent spontanément. C’est ce qu’on appelle la réactivation ou la relecture.

“La plasticité synaptique, la capacité d’être modifiée ou moulée, est toujours en place pendant le sommeil et elle peut encore améliorer les schémas de poids synaptiques qui représentent la mémoire, aidant à prévenir l’oubli ou à permettre le transfert de connaissances d’anciennes tâches vers de nouvelles.”

Lorsque Bazhenov et ses collègues ont appliqué cette approche aux réseaux de neurones artificiels, ils ont constaté que cela aidait les réseaux à éviter un oubli catastrophique.

“Cela signifiait que ces réseaux pouvaient apprendre en continu, comme les humains ou les animaux. Comprendre comment le cerveau humain traite les informations pendant le sommeil peut aider à augmenter la mémoire chez les sujets humains. L’augmentation des rythmes de sommeil peut conduire à une meilleure mémoire.

“Dans d’autres projets, nous utilisons des modèles informatiques pour développer des stratégies optimales pour appliquer une stimulation pendant le sommeil, comme les tonalités auditives, qui améliorent les rythmes du sommeil et améliorent l’apprentissage. Cela peut être particulièrement important lorsque la mémoire n’est pas optimale, comme lorsque la mémoire décline dans le vieillissement ou dans certaines conditions comme la maladie d’Alzheimer.”

Les co-auteurs incluent : Ryan Golden et Jean Erik Delanois, tous deux à l’UC San Diego ; et Pavel Sanda, Institut d’informatique de l’Académie tchèque des sciences.