Une main de robot très adroite peut opérer dans l’obscurité – tout comme nous –

Les chercheurs en robotique essaient depuis longtemps de créer une “véritable” dextérité dans les mains des robots, mais l’objectif est frustrant et insaisissable. Les préhenseurs robotisés et les ventouses peuvent saisir et placer des objets, mais les tâches plus habiles telles que l’assemblage, l’insertion, la réorientation, l’emballage, etc. sont restées du domaine de la manipulation humaine. Cependant, stimulé par les progrès de la technologie de détection et des techniques d’apprentissage automatique pour traiter les données détectées, le domaine de la manipulation robotique évolue très rapidement.

La main de robot très adroite fonctionne même dans l’obscurité

Des chercheurs de Columbia Engineering ont démontré une main de robot très adroite, qui combine un sens avancé du toucher avec des algorithmes d’apprentissage moteur afin d’atteindre un haut niveau de dextérité.

En guise de démonstration de compétence, l’équipe a choisi une tâche de manipulation difficile : exécuter une rotation arbitrairement large d’un objet saisi de forme inégale dans la main tout en maintenant toujours l’objet dans une prise stable et sûre. C’est une tâche très difficile car elle nécessite un repositionnement constant d’un sous-ensemble de doigts, tandis que les autres doigts doivent maintenir l’objet stable. Non seulement la main était capable d’effectuer cette tâche, mais elle l’a également fait sans aucun retour visuel, basé uniquement sur la détection tactile.

En plus des nouveaux niveaux de dextérité, la main a travaillé sans aucune caméra externe, elle est donc à l’abri de l’éclairage, de l’occlusion ou de problèmes similaires. Et le fait que la main ne s’appuie pas sur la vision pour manipuler des objets signifie qu’elle peut le faire dans des conditions d’éclairage très difficiles qui confondraient les algorithmes basés sur la vision – elle peut même fonctionner dans l’obscurité.

“Alors que notre démonstration portait sur une tâche de preuve de concept, destinée à illustrer les capacités de la main, nous pensons que ce niveau de dextérité ouvrira des applications entièrement nouvelles pour la manipulation robotique dans le monde réel”, a déclaré Matei Ciocarlie, associé professeur aux départements de génie mécanique et d’informatique. “Certaines des utilisations les plus immédiates pourraient être dans la logistique et la manutention, aidant à atténuer les problèmes de chaîne d’approvisionnement comme ceux qui ont tourmenté notre économie ces dernières années, et dans la fabrication et l’assemblage de pointe dans les usines.”

Tirer parti des doigts tactiles basés sur l’optique

Dans des travaux antérieurs, le groupe de Ciocarlie a collaboré avec Ioannis Kymissis, professeur de génie électrique, pour développer une nouvelle génération de doigts de robot tactiles basés sur l’optique. Il s’agissait des premiers doigts de robot à atteindre une localisation de contact avec une précision inférieure au millimètre tout en offrant une couverture complète d’une surface complexe à plusieurs courbes. De plus, l’emballage compact et le faible nombre de fils des doigts ont permis une intégration facile dans des mains de robot complètes.

Apprendre à la main à effectuer des tâches complexes

Pour ce nouveau travail, dirigé par le chercheur doctorant de CIocarlie, Gagan Khandate, les chercheurs ont conçu et construit une main de robot avec cinq doigts et 15 articulations actionnées indépendamment – chaque doigt était équipé de la technologie de détection tactile de l’équipe. L’étape suivante consistait à tester la capacité de la main tactile à effectuer des tâches de manipulation complexes. Pour ce faire, ils ont utilisé de nouvelles méthodes d’apprentissage moteur, ou la capacité d’un robot à apprendre de nouvelles tâches physiques via la pratique. En particulier, ils ont utilisé une méthode appelée apprentissage par renforcement profond, complétée par de nouveaux algorithmes qu’ils ont développés pour une exploration efficace des stratégies motrices possibles.

Robot a terminé environ un an de pratique en seulement quelques heures de temps réel

L’entrée des algorithmes d’apprentissage moteur consistait exclusivement en des données tactiles et proprioceptives de l’équipe, sans aucune vision. Utilisant la simulation comme terrain d’entraînement, le robot a effectué environ un an de pratique en seulement quelques heures de temps réel, grâce à des simulateurs physiques modernes et à des processeurs hautement parallèles. Les chercheurs ont ensuite transféré cette compétence de manipulation formée en simulation à la vraie main du robot, qui a pu atteindre le niveau de dextérité espéré par l’équipe. Ciocarlie a noté que “l’objectif directionnel pour le terrain reste la robotique d’assistance à la maison, le terrain d’essai ultime pour une véritable dextérité. Dans cette étude, nous avons montré que les mains des robots peuvent également être très adroites en se basant uniquement sur la détection tactile. Une fois que nous avons également ajouter un retour visuel dans le mélange avec le toucher, nous espérons pouvoir atteindre encore plus de dextérité, et un jour commencer à approcher la réplication de la main humaine.”

Objectif ultime : joindre l’intelligence abstraite à l’intelligence incarnée

En fin de compte, a observé Ciocarlie, un robot physique utile dans le monde réel a besoin à la fois d’une intelligence sémantique abstraite (pour comprendre conceptuellement le fonctionnement du monde) et d’une intelligence incarnée (la capacité d’interagir physiquement avec le monde). Les grands modèles de langage tels que GPT-4 d’OpenAI ou PALM de Google visent à fournir le premier, tandis que la dextérité dans la manipulation telle qu’obtenue dans cette étude représente des avancées complémentaires dans le second.

Par exemple, lorsqu’on lui demande comment faire un sandwich, ChatGPT va taper un plan étape par étape en réponse, mais il faut un robot habile pour prendre ce plan et faire le sandwich. De la même manière, les chercheurs espèrent que des robots physiquement compétents pourront extraire l’intelligence sémantique du monde purement virtuel d’Internet et l’utiliser à bon escient pour des tâches physiques réelles, peut-être même dans nos maisons.

L’article a été accepté pour publication lors de la prochaine conférence Robotics: Science and Systems (Daegu, Corée, 10-14 juillet 2023) et est actuellement disponible en prépublication.

VIDÉO: https://youtu.be/mYlc_OWgkyI