Des robots font des crêpes et des pizzas en apprenant de WikiHow

Des chercheurs d’un projet européen apprennent aux robots à utiliser du texte pour effectuer des tâches. Ces robots peuvent créer des crêpes ou des pizzas en lisant les articles de WikiHow.

Les robots apprennent en lisant des articles simplifiés au maximum

Si vous cherchez comment remplacer un pneu ou préparer un cocktail, il y a des chances que vous tombiez sur un site tel que WikiHow qui propose des instructions très détaillées sur chaque étape. Et désormais, les robots peuvent faire la même chose. Un robot appelé PR2 en Allemagne apprend à faire des crêpes et des pizzas en lisant attentivement les articles de WikiHow. Cela fait partie d’un projet européen appelé RoboHow qui explore des techniques pour que les robots apprennent le langage. Ce type de projet permettra aux gens de fournir des instructions aux robots et ces robots pourront aussi faire des tâches pour lesquelles ils ne sont pas programmés à la base.

Le fait d’enseigner des instructions de haut niveau à un robot pour qu’il fasse des actions précises est une tâche importante, mais très complexe. Cet enseignement est naturel chez les humains puisque nous connaissons la plupart des tâches basiques avec des informations que nous avons collectées au fil de notre vie. On n’a pas besoin de dire précisément à un humain sur la manière d’ouvrir une bouteille de Ketchup ou qu’il faut utiliser une spatule ou un autre ustensile pour retourner une crêpe sur une poêle.

Le traitement du langage naturel par les robots

De ce fait, les chercheurs du projet RoboHow veulent apprendre des connaissances générales aux robots pour que ces derniers effectuent des instructions de haut niveau pour des actions précises. Les chercheurs ont été capables de convertir quelques instructions WikiHow dans un comportement utile en simulation et dans de vrais robots. Et ce type de progrès sera crucial à l’avenir lorsque les robots deviendront fréquents et qu’ils travailleront étroitement avec les humains. Si vous avez un robot dans une usine, alors vous devez pouvoir lui dire : Prend le tournevis et place-le sur le boulon pour le serrer selon Michael Beetz, responsable de l’Artificial Intelligence Institute à l’université de Bremen en Allemagne. Vous voulez que le robot génère automatiquement les paramètres avec la description sémantique de la tâche.

Les robots peuvent apprendre d’une une base de données commune

Dans une série d’expériences, les chercheurs ont appris aux robots PR2 à effectuer des tâches basiques de laboratoire tels que tenir des produits chimiques. Une fois qu’un robot a appris une série d’instructions relative à une tâche, sa connaissance est ajoutée à une base de données en ligne appelée Open Ease. Ainsi, les autres robots peuvent aussi accéder à cette base. Ces instructions sont codées dans un langage lisible par la machine comme le projet Semantic Web. Les chercheurs utilisent d’autres techniques pour aider les robots à effectuer des tâches basiques. Cela inclut le fait de regarder des vidéos ou étudier des données de la réalité virtuelle. Par exemple, un humain peut utiliser des gants avec des capteurs pour effectuer la tâche et les données capturées sont ensuite transmises au robot pour qu’il sache faire la même chose.

Le chemin est long avant d’avoir des robots performants dans toutes les tâches

Mais même une manipulation basique reste un défi pour les robots. Il faut des dizaines d’instructions pour qu’un robot apprenne à prendre un objet et le traitement du langage naturel est encore plus difficile. Siddhartha Srinivasa, professeur à la Robotics Institute à la Carnegie Mellon University a déclaré que la connexion du langage vers une action est très importante, mais aussi très difficile. Ce chercheur ajoute qu’il a un enfant de 4 ans et que c’est souvent une catastrophe quand je lui dis d’assembler un jouet. Et si un enfant n’arrive pas à le faire, alors on doit comprendre qu’un robot possède des capacités d’apprentissage qui sont 1000 fois inférieures à un humain.

La vidéo du robot PR2 qui fait des crêpes :

Un robot qui fait du pop-corn et prépare un sandwich :

---

Mes livres

Le Basilic de Roko	Mon parcours de rédacteur web	Science corrompue et servile	Nous, Tueurs en série