Le nouveau capteur intelligent utilise des informations intégrées pour détecter le mouvement dans une seule image vidéo

Les systèmes de détection de mouvement actuels nécessitent de nombreux composants et algorithmes complexes effectuant des analyses image par image, ce qui les rend inefficaces et énergivores. Inspirés par le système visuel humain, des chercheurs de l’Université Aalto ont développé une nouvelle technologie de vision neuromorphique qui intègre la détection, la mémoire et le traitement dans un seul appareil capable de détecter les mouvements et de prédire les trajectoires.

Au cœur de leur technologie se trouve un réseau de photomemristors, des dispositifs électriques qui produisent du courant électrique en réponse à la lumière. Le courant ne s’arrête pas immédiatement lorsque la lumière est éteinte. Au lieu de cela, il se désintègre progressivement, ce qui signifie que les photomémristors peuvent effectivement “se souvenir” s’ils ont été exposés à la lumière récemment. Ainsi, un capteur constitué d’un réseau de photomémristors ne se contente pas d’enregistrer des informations instantanées sur une scène, comme le fait une caméra, mais intègre également une mémoire dynamique des instants précédents.

«La propriété unique de notre technologie est sa capacité à intégrer une série d’images optiques dans une seule image», explique Hongwei Tan, le chercheur qui a dirigé l’étude. ‘Les informations de chaque image sont intégrées dans les images suivantes en tant qu’informations cachées. En d’autres termes, la dernière image d’une vidéo contient également des informations sur toutes les images précédentes. Cela nous permet de détecter le mouvement plus tôt dans la vidéo en analysant uniquement l’image finale avec un simple réseau de neurones artificiels. Le résultat est une unité de détection compacte et efficace.

Pour démontrer la technologie, les chercheurs ont utilisé des vidéos montrant les lettres d’un mot une à la fois. Parce que tous les mots se terminaient par la lettre “E”, l’image finale de toutes les vidéos se ressemblait. Les capteurs de vision conventionnels ne pouvaient pas dire si le « E » sur l’écran était apparu après les autres lettres de « POMME » ou « RAISIN ». Mais le réseau de photomemristors pouvait utiliser des informations cachées dans l’image finale pour déduire quelles lettres l’avaient précédée et prédire ce qu’était le mot avec une précision de près de 100 %.

Dans un autre test, l’équipe a montré les vidéos du capteur d’une personne simulée se déplaçant à trois vitesses différentes. Non seulement le système était capable de reconnaître le mouvement en analysant une seule image, mais il prédisait également correctement les images suivantes.

La détection précise des mouvements et la prédiction de la position d’un objet sont essentielles pour la technologie de conduite autonome et le transport intelligent. Les véhicules autonomes ont besoin de prédictions précises sur la façon dont les voitures, les vélos, les piétons et d’autres objets se déplaceront afin de guider leurs décisions. En ajoutant un système d’apprentissage automatique au réseau de photomemristors, les chercheurs ont montré que leur système intégré peut prédire les mouvements futurs en se basant sur le traitement dans le capteur d’une trame entièrement informative.

«La reconnaissance et la prédiction de mouvement par notre mémoire compacte intégrée au capteur et notre solution informatique offrent de nouvelles opportunités dans la robotique autonome et les interactions homme-machine», déclare le professeur Sebastiaan van Dijken. “Les informations dans le cadre que nous obtenons dans notre système à l’aide de photomémristors évitent les flux de données redondants, permettant une prise de décision économe en énergie en temps réel.”