Un robot surmonte l’incertitude pour récupérer des objets enfouis

Les chercheurs du MIT ont précédemment démontré un bras robotique qui combine des informations visuelles et des signaux de radiofréquence (RF) pour trouver des objets cachés qui ont été marqués avec des étiquettes RFID (qui reflètent les signaux envoyés par une antenne). S’appuyant sur ce travail, ils ont maintenant développé un nouveau système qui peut récupérer efficacement tout objet enfoui dans une pile. Tant que certains éléments de la pile ont des étiquettes RFID, l’élément cible n’a pas besoin d’être étiqueté pour que le système le récupère.

Les algorithmes derrière le système, connus sous le nom de FuseBot, raisonnent sur l’emplacement et l’orientation probables des objets sous la pile. Ensuite, FuseBot trouve le moyen le plus efficace de supprimer les objets gênants et d’extraire l’élément cible. Ce raisonnement a permis à FuseBot de trouver plus d’éléments cachés qu’un système robotique de pointe, en deux fois moins de temps.

Cette vitesse pourrait être particulièrement utile dans un entrepôt de commerce électronique. Un robot chargé de traiter les retours pourrait trouver plus efficacement des éléments dans une pile non triée avec le système FuseBot, explique l’auteur principal Fadel Adib, professeur agrégé au Département de génie électrique et d’informatique et directeur du groupe Signal Kinetics au Media Lab.

“Ce que cet article montre, pour la première fois, c’est que la simple présence d’un article étiqueté RFID dans l’environnement vous permet d’accomplir beaucoup plus facilement d’autres tâches de manière plus efficace. Nous avons pu le faire parce que nous avons ajouté raisonnement multimodal au système – FuseBot peut raisonner à la fois sur la vision et sur la RF pour comprendre une pile d’éléments », ajoute Adib.

Rejoindre Adib sur le papier sont des assistants de recherche Tara Boroushaki, qui est l’auteur principal; Laura Dodds; et Nazish Naeem. La recherche sera présentée à la conférence Robotics: Science and Systems.

Balises de ciblage

Un récent rapport de marché indique que plus de 90 % des détaillants américains utilisent désormais des étiquettes RFID, mais la technologie n’est pas universelle, ce qui conduit à des situations dans lesquelles seuls certains objets dans les piles sont étiquetés.

Ce problème a inspiré les recherches du groupe.

Avec FuseBot, un bras robotique utilise une caméra vidéo et une antenne RF attachées pour récupérer un élément cible non étiqueté d’une pile mixte. Le système scanne le tas avec sa caméra pour créer un modèle 3D de l’environnement. Simultanément, il envoie des signaux depuis son antenne pour localiser les étiquettes RFID. Ces ondes radio peuvent traverser la plupart des surfaces solides, de sorte que le robot peut “voir” profondément dans la pile. Étant donné que l’article cible n’est pas étiqueté, FuseBot sait que l’article ne peut pas être situé exactement au même endroit qu’une étiquette RFID.

Des algorithmes fusionnent ces informations pour mettre à jour le modèle 3D de l’environnement et mettre en évidence les emplacements potentiels de l’élément cible ; le robot connaît sa taille et sa forme. Ensuite, le système raisonne sur les objets dans la pile et les emplacements des étiquettes RFID pour déterminer quel élément supprimer, dans le but de trouver l’élément cible avec le moins de mouvements.

Il était difficile d’intégrer ce raisonnement dans le système, dit Boroushaki.

Le robot ne sait pas comment les objets sont orientés sous la pile, ou comment un objet spongieux pourrait être déformé par des objets plus lourds appuyant dessus. Il surmonte ce défi avec un raisonnement probabiliste, en utilisant ce qu’il sait de la taille et de la forme d’un objet et de l’emplacement de son étiquette RFID pour modéliser l’espace 3D que cet objet est susceptible d’occuper.

Lorsqu’il supprime des éléments, il utilise également le raisonnement pour décider quel élément serait “le mieux” à supprimer ensuite.

“Si je donne à un humain une pile d’objets à rechercher, il retirera probablement d’abord le plus gros objet pour voir ce qu’il y a en dessous. Ce que fait le robot est similaire, mais il intègre également des informations RFID pour prendre une décision plus éclairée. Il demande: “Combien comprendra-t-il de plus à propos de ce tas s’il enlève cet objet de la surface?” “, Dit Boroushaki.

Après avoir retiré un objet, le robot scanne à nouveau la pile et utilise de nouvelles informations pour optimiser sa stratégie.

Résultats de la récupération

Ce raisonnement, ainsi que son utilisation des signaux RF, ont donné à FuseBot un avantage sur un système de pointe qui n’utilisait que la vision. L’équipe a mené plus de 180 essais expérimentaux en utilisant de vrais bras robotiques et des piles avec des articles ménagers, comme des fournitures de bureau, des animaux en peluche et des vêtements. Ils ont fait varier la taille des piles et le nombre d’articles étiquetés RFID dans chaque pile.

FuseBot a extrait l’élément cible avec succès 95 % du temps, contre 84 % pour l’autre système robotique. Il a accompli cela en utilisant 40% de mouvements en moins et a pu localiser et récupérer les éléments ciblés plus de deux fois plus rapidement.

“Nous constatons une grande amélioration du taux de réussite en incorporant ces informations RF. C’était également passionnant de voir que nous pouvions égaler les performances de notre système précédent et les dépasser dans les scénarios où l’élément cible n’avait pas de RFID. étiquette », dit Dodds.

FuseBot pourrait être appliqué dans une variété de paramètres car le logiciel qui effectue son raisonnement complexe peut être implémenté sur n’importe quel ordinateur – il a juste besoin de communiquer avec un bras robotique doté d’une caméra et d’une antenne, ajoute Boroushaki.

Dans un avenir proche, les chercheurs prévoient d’intégrer des modèles plus complexes dans FuseBot afin qu’il fonctionne mieux sur les objets déformables. Au-delà de cela, ils sont intéressés à explorer différentes manipulations, comme un bras robotique qui pousse les objets à l’écart. Les futures itérations du système pourraient également être utilisées avec un robot mobile qui recherche plusieurs piles d’objets perdus.

Ce travail a été financé, en partie, par la National Science Foundation, une bourse de recherche Sloan, NTT DATA, Toppan, Toppan Forms et le MIT Media Lab.