Un “chef” robot apprend à recréer des recettes en regardant des vidéos culinaires

Les chercheurs, de l’Université de Cambridge, ont programmé leur chef robotique avec un “livre de cuisine” de huit recettes de salade simples. Après avoir visionné une vidéo d’un humain démontrant l’une des recettes, le robot a pu identifier la recette en cours de préparation et la préparer.

De plus, les vidéos ont aidé le robot à ajouter progressivement à son livre de recettes. À la fin de l’expérience, le robot a proposé lui-même une neuvième recette. Leurs résultats, rapportés dans la revue Accès IEEEdémontrent comment le contenu vidéo peut être une source de données précieuse et riche pour la production alimentaire automatisée, et pourrait permettre un déploiement plus facile et moins coûteux des chefs robots.

Les chefs robotiques ont été présentés dans la science-fiction pendant des décennies, mais en réalité, la cuisine est un problème difficile pour un robot. Plusieurs sociétés commerciales ont construit des prototypes de robots chefs, bien qu’aucun d’entre eux ne soit actuellement disponible dans le commerce, et ils sont bien en retard sur leurs homologues humains en termes de compétences.

Les cuisiniers humains peuvent apprendre de nouvelles recettes par l’observation, qu’il s’agisse de regarder une autre personne cuisiner ou de regarder une vidéo sur YouTube, mais programmer un robot pour préparer une gamme de plats est coûteux et prend du temps.

“Nous voulions voir si nous pouvions former un chef robot pour qu’il apprenne de la même manière progressive que les humains peuvent le faire, en identifiant les ingrédients et comment ils vont ensemble dans le plat”, a déclaré Grzegorz Sochacki du département d’ingénierie de Cambridge, le premier journal du journal. auteur.

Sochacki, doctorant au laboratoire de robotique bio-inspirée du professeur Fumiya Iida, et ses collègues ont conçu huit recettes de salade simples et se sont filmés en train de les faire. Ils ont ensuite utilisé un réseau de neurones accessible au public pour former leur robot chef. Le réseau de neurones avait déjà été programmé pour identifier une gamme d’objets différents, y compris les fruits et légumes utilisés dans les huit recettes de salade (brocoli, carotte, pomme, banane et orange).

À l’aide de techniques de vision par ordinateur, le robot a analysé chaque image de la vidéo et a pu identifier les différents objets et caractéristiques, comme un couteau et les ingrédients, ainsi que les bras, les mains et le visage du démonstrateur humain. Les recettes et les vidéos ont été converties en vecteurs et le robot a effectué des opérations mathématiques sur les vecteurs pour déterminer la similitude entre une démonstration et un vecteur.

En identifiant correctement les ingrédients et les actions du chef humain, le robot pouvait déterminer laquelle des recettes était en cours de préparation. Le robot pourrait en déduire que si le démonstrateur humain tenait un couteau dans une main et une carotte dans l’autre, la carotte serait alors hachée.

Sur les 16 vidéos qu’il a visionnées, le robot a reconnu la bonne recette 93 % du temps, même s’il n’a détecté que 83 % des actions du chef humain. Le robot a également été capable de détecter que de légères variations dans une recette, comme faire une double portion ou une erreur humaine normale, étaient des variations et non une nouvelle recette. Le robot a également correctement reconnu la démonstration d’une nouvelle neuvième salade, l’a ajoutée à son livre de cuisine et l’a préparée.

“C’est incroyable la quantité de nuances que le robot a pu détecter”, a déclaré Sochacki. “Ces recettes ne sont pas complexes – ce sont essentiellement des fruits et des légumes hachés, mais c’était vraiment efficace pour reconnaître, par exemple, que deux pommes hachées et deux carottes hachées sont la même recette que trois pommes hachées et trois carottes hachées. “

Les vidéos utilisées pour former le chef robot ne ressemblent pas aux vidéos culinaires réalisées par certains influenceurs des médias sociaux, qui sont pleines de coupes rapides et d’effets visuels, et font rapidement des allers-retours entre la personne qui prépare la nourriture et le plat qu’elle prépare. . Par exemple, le robot aurait du mal à identifier une carotte si le démonstrateur humain avait sa main enroulée autour de celle-ci – pour que le robot identifie la carotte, le démonstrateur humain devait tenir la carotte pour que le robot puisse voir le légume entier.

“Notre robot n’est pas intéressé par les types de vidéos culinaires qui deviennent virales sur les réseaux sociaux – elles sont tout simplement trop difficiles à suivre”, a déclaré Sochacki. “Mais à mesure que ces chefs robots identifient de mieux en mieux les ingrédients dans les vidéos culinaires, ils pourront peut-être utiliser des sites comme YouTube pour apprendre toute une gamme de recettes.”

La recherche a été financée en partie par Beko plc et le Engineering and Physical Sciences Research Council (EPSRC), qui fait partie de UK Research and Innovation (UKRI).