Exploiter le bruit dans l’informatique optique pour l’IA

Dans un avenir proche, il est prévu que ces technologies auront un impact encore plus important sur la société grâce à des activités telles que la conduite de véhicules entièrement autonomes, permettant des recherches scientifiques complexes et facilitant les découvertes médicales.

Mais les ordinateurs utilisés pour l’IA et l’apprentissage automatique demandent beaucoup d’énergie. Actuellement, le besoin en puissance de calcul lié à ces technologies double environ tous les trois à quatre mois. Et les centres de données de cloud computing utilisés par les applications d’IA et d’apprentissage automatique dans le monde consomment déjà plus d’électricité par an que certains petits pays. Il est facile de voir que ce niveau de consommation d’énergie est insoutenable.

Une équipe de recherche dirigée par l’Université de Washington a développé un nouveau matériel informatique optique pour l’IA et l’apprentissage automatique qui est plus rapide et beaucoup plus économe en énergie que l’électronique conventionnelle. La recherche aborde également un autre défi : le « bruit » inhérent à l’informatique optique qui peut interférer avec la précision informatique.

Dans un nouvel article, publié le 21 janvier dans Avancées scientifiques, l’équipe présente un système informatique optique pour l’IA et l’apprentissage automatique qui non seulement atténue ce bruit, mais en utilise en fait une partie comme entrée pour aider à améliorer la sortie créative du réseau de neurones artificiels au sein du système.

“Nous avons construit un ordinateur optique qui est plus rapide qu’un ordinateur numérique conventionnel”, a déclaré l’auteur principal Changming Wu, doctorant à l’UW en génie électrique et informatique. “Et aussi, cet ordinateur optique peut créer de nouvelles choses basées sur des entrées aléatoires générées à partir du bruit optique que la plupart des chercheurs ont essayé d’éviter.”

Le bruit de calcul optique provient essentiellement de particules de lumière parasites, ou photons, qui proviennent du fonctionnement des lasers à l’intérieur de l’appareil et du rayonnement thermique de fond. Pour cibler le bruit, les chercheurs ont connecté leur cœur de calcul optique à un type spécial de réseau d’apprentissage automatique, appelé réseau antagoniste génératif.

L’équipe a testé plusieurs techniques d’atténuation du bruit, notamment l’utilisation d’une partie du bruit généré par le cœur de calcul optique pour servir d’entrées aléatoires pour le GAN.

Par exemple, l’équipe a confié au GAN la tâche d’apprendre à écrire à la main le chiffre “7” comme le ferait une personne. L’ordinateur optique ne pouvait pas simplement imprimer le numéro selon une police prescrite. Il devait apprendre la tâche comme le ferait un enfant, en regardant des échantillons visuels d’écriture manuscrite et en s’entraînant jusqu’à ce qu’il puisse écrire le nombre correctement. Bien sûr, l’ordinateur optique n’avait pas de main humaine pour écrire, donc sa forme “d’écriture manuscrite” consistait à générer des images numériques qui avaient un style similaire aux échantillons qu’il avait étudiés, mais qui n’étaient pas identiques à eux.

“Au lieu d’entraîner le réseau à lire les chiffres manuscrits, nous avons entraîné le réseau à apprendre à écrire des chiffres, en imitant des échantillons visuels d’écriture manuscrite sur lesquels il a été formé”, a déclaré l’auteur principal Mo Li, professeur de génie électrique et informatique à l’UW. “Avec l’aide de nos collaborateurs en informatique de l’Université Duke, nous avons également montré que le GAN peut atténuer l’impact négatif des bruits du matériel informatique optique en utilisant un algorithme de formation robuste aux erreurs et aux bruits. Plus que cela, le réseau utilise en fait les bruits comme entrée aléatoire nécessaire pour générer des instances de sortie.”

Après avoir appris à partir d’échantillons manuscrits du nombre sept, qui provenaient d’un ensemble d’images standard d’entraînement à l’IA, le GAN s’est entraîné à écrire “7” jusqu’à ce qu’il puisse le faire avec succès. En cours de route, il a développé son propre style d’écriture distinct et pouvait écrire des nombres de un à 10 dans des simulations informatiques.

Les prochaines étapes comprennent la construction de ce dispositif à plus grande échelle en utilisant la technologie actuelle de fabrication de semi-conducteurs. Ainsi, au lieu de construire la prochaine version de l’appareil dans un laboratoire, l’équipe prévoit d’utiliser une fonderie industrielle de semi-conducteurs pour obtenir une technologie à l’échelle des tranches. Un appareil à plus grande échelle améliorera encore les performances et permettra à l’équipe de recherche d’effectuer des tâches plus complexes au-delà de la génération d’écriture manuscrite, telles que la création d’œuvres d’art et même de vidéos.

“Ce système optique représente une architecture matérielle informatique qui peut améliorer la créativité des réseaux de neurones artificiels utilisés dans l’IA et l’apprentissage automatique, mais plus important encore, il démontre la viabilité de ce système à grande échelle où le bruit et les erreurs peuvent être atténués et même exploités. “, a déclaré Li. “Les applications d’IA se développent si rapidement qu’à l’avenir, leur consommation d’énergie ne sera pas durable. Cette technologie a le potentiel d’aider à réduire cette consommation d’énergie, rendant l’IA et l’apprentissage automatique durables sur le plan environnemental – et très rapides, atteignant des performances globales plus élevées.”

Les autres co-auteurs sont Ruoming Peng, doctorant à l’UW en génie électrique et informatique; Xiaoxuan Yang, doctorant à l’Université Duke ; Heshan Yu, chercheur associé à l’Université du Maryland, College Park ; Ichiro Takeuchi, professeur à l’Université du Maryland, College Park ; et Yiran Chen, professeur à l’Université Duke. Cette recherche a été financée par l’Office of Naval Research, la National Science Foundation et l’Army Research Office. Une partie de ce travail a été menée à l’installation de nanofabrication de Washington à l’UW.