STEVE-1, le chatbot qui joue à Minecraft comme un pro

STEVE-1 est un modèle d’intelligence artificielle (IA) qui peut effectuer des tâches dans Minecraft en utilisant des instructions en texte ou en images. Il s’agit d’une avancée majeure dans le domaine des agents instructibles, capables de suivre des instructions complexes et séquentielles.

STEVE-1 repose sur deux modèles d’IA existants : VPT, un modèle de base pré-entraîné sur 70 000 heures de gameplay de Minecraft, et MineCLIP, qui aligne des légendes textuelles avec des vidéos de Minecraft. Les chercheurs ont affiné VPT pour qu’il suive des objectifs visuels encodés par MineCLIP, puis ont entraîné un module pour traduire des consignes textuelles en embeddings visuels de MineCLIP.

Ce modèle à deux étapes permet à STEVE-1 de suivre à la fois des instructions textuelles et visuelles dans Minecraft avec seulement 60 dollars de calcul et 2 000 exemples étiquetés.

STEVE-1 surclasse les précédents agents d’IA dans Minecraft

Dans leurs tests, STEVE-1 a largement dépassé les précédents agents d’IA dans Minecraft lorsqu’il a reçu des instructions pertinentes, récoltant beaucoup plus de ressources et explorant plus loin. Il peut effectuer une variété de tâches à court terme comme couper des arbres, rassembler des ressources ou explorer lorsqu’il est sollicité par du texte ou des images.

Les chercheurs ont constaté que l’enchaînement des consignes améliorait les performances sur les tâches à long terme, comme la fabrication d’objets ou la construction de structures, passant d’un taux de réussite proche de zéro à un taux de réussite de 50 à 70 %. L’équipe montre également STEVE-1 répondant aux instructions humaines en temps réel, démontrant son potentiel comme assistant interactif.

STEVE-1 est un modèle pour “des agents instructibles dans des domaines au-delà de Minecraft”

Bien que, comme pour la génération d’images, le passage à une consigne plus longue et plus spécifique améliore considérablement les performances de STEVE-1 sur les tâches à long terme, il est également peu intuitif et chronophage, et plus de travail reste à faire, selon le document.

Comme STEVE-1 fonctionne directement à partir de l’entrée brute de pixels et des actions bas niveau de la souris et du clavier, l’approche pourrait être appliquée plus largement pour créer des agents instructibles dans des domaines au-delà de Minecraft, selon l’équipe. Les travaux futurs se concentreront sur l’amélioration de la capacité de STEVE-1 à gérer des instructions plus longues et plus complexes en incorporant des grands modèles de langage pour aider l’agent à planifier et à exécuter des tâches multi-étapes.

Plus d’informations et le code sont disponibles sur la page du projet STEVE-1.