La technologie aide les voitures autonomes à apprendre de leurs propres “souvenirs”

Les voitures utilisant des réseaux de neurones artificiels n’ont aucun souvenir du passé et sont dans un état constant de voir le monde pour la première fois – peu importe le nombre de fois qu’elles ont parcouru une route particulière auparavant.

Les chercheurs ont produit trois articles simultanés dans le but de surmonter cette limitation. Deux sont présentés lors des actes de la conférence IEEE sur la vision par ordinateur et la reconnaissance de formes (CVPR 2022), qui se tiendra du 19 au 24 juin à la Nouvelle-Orléans.

“La question fondamentale est, pouvons-nous apprendre des traversées répétées?” a déclaré l’auteur principal Kilian Weinberger, professeur d’informatique. “Par exemple, une voiture peut confondre un arbre de forme étrange avec un piéton la première fois que son scanner laser le perçoit à distance, mais une fois qu’il est suffisamment proche, la catégorie d’objet deviendra claire. Ainsi, la deuxième fois que vous passez devant le même arbre, même dans le brouillard ou la neige, on peut espérer que la voiture a maintenant appris à le reconnaître correctement.”

Dirigé par le doctorant Carlos Diaz-Ruiz, le groupe a compilé un ensemble de données en conduisant une voiture équipée de capteurs LiDAR (Light Detection and Ranging) à plusieurs reprises le long d’une boucle de 15 kilomètres dans et autour d’Ithaca, 40 fois sur une période de 18 mois. Les traversées capturent des environnements variés (autoroute, urbain, campus), des conditions météorologiques (ensoleillé, pluvieux, neigeux) et des moments de la journée. Cet ensemble de données résultant contient plus de 600 000 scènes.

“Cela expose délibérément l’un des principaux défis des voitures autonomes : les mauvaises conditions météorologiques”, a déclaré Diaz-Ruiz. “Si la rue est recouverte de neige, les humains peuvent compter sur des souvenirs, mais sans souvenirs, un réseau de neurones est fortement désavantagé.”

HINDSIGHT est une approche qui utilise des réseaux de neurones pour calculer des descripteurs d’objets au fur et à mesure que la voiture les dépasse. Il compresse ensuite ces descriptions, que le groupe a surnommées SQuaSH? (Spatial-Quantized Sparse History), et les stocke sur une carte virtuelle, comme une “mémoire” stockée dans un cerveau humain.

La prochaine fois que la voiture autonome traversera le même endroit, elle pourra interroger la base de données SQuaSH locale de chaque point LiDAR le long de l’itinéraire et “se souvenir” de ce qu’elle a appris la dernière fois. La base de données est continuellement mise à jour et partagée entre les véhicules, enrichissant ainsi les informations disponibles pour effectuer la reconnaissance.

“Ces informations peuvent être ajoutées en tant que fonctionnalités à n’importe quel détecteur d’objets 3D basé sur LiDAR ;” a déclaré le doctorant Yurong You. “Le détecteur et la représentation SQuaSH peuvent être formés conjointement sans aucune supervision supplémentaire ni annotation humaine, ce qui demande beaucoup de temps et de main-d’œuvre.”

HINDSIGHT est un précurseur des recherches supplémentaires menées par l’équipe, MODEST (Mobile Object Detection with Ephemerality and Self-Training), qui iraient encore plus loin, permettant à la voiture d’apprendre l’ensemble du pipeline de perception à partir de zéro.

Alors que HINDSIGHT suppose toujours que le réseau de neurones artificiels est déjà formé pour détecter des objets et l’augmente avec la capacité de créer des souvenirs, MODEST suppose que le réseau de neurones artificiels dans le véhicule n’a jamais été exposé à des objets ou à des rues. Grâce à plusieurs traversées du même itinéraire, il peut apprendre quelles parties de l’environnement sont immobiles et lesquelles sont des objets en mouvement. Lentement, il apprend lui-même ce qui constitue les autres participants à la circulation et ce qu’il est prudent d’ignorer.

L’algorithme peut alors détecter ces objets de manière fiable, même sur des routes qui ne faisaient pas partie des traversées répétées initiales.

Les chercheurs espèrent que ces approches pourraient réduire considérablement le coût de développement des véhicules autonomes (qui reposent actuellement encore fortement sur des données annotées humaines coûteuses) et rendre ces véhicules plus efficaces en apprenant à naviguer dans les endroits où ils sont le plus utilisés.

Source de l’histoire :

Matériaux fourni par L’Université de Cornell. Original écrit par Tom Fleischman, avec l’aimable autorisation du Cornell Chronicle. Remarque : Le contenu peut être modifié pour le style et la longueur.