L'IA Google DeepMing peut naviguer dans le jeu Doom en le regardant

Contrairement à de nombreuses IA de jeux vidéos, DeepMind n’a pas accès au code du jeu. Au lieu, il joue à la manière d’un humain en regardant l’écran en déterminant les prochaines actions. Cette capacité de naviguer en 3D sera très utile pour les intelligences artificielles qui devront se déplacer dans le monde réel. DeepMind continue de progresser puisqu’il vient de battre récemment un champion du jeu de Go.

Ce résultat se base sur une recherche de DeepMind qui a été publiée l’année dernière. L’équipe avait entrainé une intelligence artificielle qui pouvait jouer jusqu’à 49 jeux vidéos différents de l’Atari 2600, une console des années 1980. L’intelligence artificielle ne connaissait pas les règles du jeu et au lieu, elle devait les apprendre en regardant les écrans. Elle devait apprendre ses propres stratégies pour avoir le meilleur score. Cette intelligence artificielle a été capable de battre l’un des meilleurs joueurs humains dans 23 des titres.

La récompense du meilleur score

Cette intelligence artificielle s’est basé sur une technique qu’on appelle le Reinforcement Learning. Ce dernier récompense l’IA si celle-ci effectue des actions qui améliorent son score. Cette technique a été combinée avec un réseau neuronal qui analyse et lit les patterns sur l’écran. L’IA est aussi capable de regarder dans sa mémoire et d’étudier les précédents scénarios et c’est une technique qu’on appelle l’Experience Replay.

Mais l’Experience Replay possède des inconvénients, car on ne peut pas l’utiliser pour des problèmes plus avancés. Elle nécessite une grande puissance de calcul et de quantité de mémoire pour une interaction réelle selon l’équipe de DeepMind dans son dernier article. De ce fait, l’équipe a développé une technique appelée Asynchronous Reinforcement Learning qui permet de créer plusieurs versions de l’intelligence artificielle afin de résoudre le problème en parallèle en comparant leurs expériences.

DeepMind pourra bientôt naviguer en 3D

Cette approche nécessite moins de puissance de calcul. Les précédentes IA nécessitaient 8 jours d’entrainement sur des GPU haut de gamme pour jouer aux jeux Atari. DeepMind a réussi une meilleure performance avec des GPU modestes en seulement 4 jours. Après avoir maitrisé Atari, l’équipe a testé l’intelligence artificielle sur un jeu de course en 3D. Il a réussi un score de 90 % par rapport à un humain.

Le plus grand défi de l’intelligence artificielle DeepMind concernait la navigation dans un jeu en 3D appelé Labyrinth. Il s’inspire de Doom sans le tir. L’intelligence artificielle est récompensée pour trouver des pommes et des portails. Chaque portail le téléporte dans un emplacement du labyrinthe et il doit obtenir les meilleurs scores en 60 secondes.

Cette tâche est beaucoup plus difficile pour DeepMind, car contrairement aux jeux de course où il pouvait apprendre de ses expériences, le portail le téléporte aléatoirement dans un nouvel emplacement à chaque partie et il doit apprendre le concept de stratégie générale pour explorer les labyrinthes.