RLHF : comment apprendre aux machines avec les humains

Le reinforcement learning (RL) est une technique d’apprentissage automatique qui consiste à entraîner un agent à prendre des décisions en fonction des récompenses ou des pénalités qu’il reçoit de son environnement. Par exemple, un agent peut apprendre à jouer à un jeu vidéo en essayant différentes actions et en recevant des points positifs ou négatifs selon le résultat.

Mais comment définir ce qui est une bonne ou une mauvaise action pour un agent ? Comment lui faire comprendre ce que nous voulons qu’il fasse et ce que nous ne voulons pas qu’il fasse ? C’est l’un des défis majeurs de la recherche en intelligence artificielle, car les objectifs que nous avons pour les systèmes intelligents sont souvent complexes, subjectifs et dépendants du contexte. Par exemple, nous voulons que les agents soient capables de générer du texte créatif, informatif, véridique ou exécutable selon les cas.

Le RLHF : apprendre à partir des préférences humaines

Pour résoudre ce problème, une méthode prometteuse est le reinforcement learning through human feedback (RLHF), ou apprentissage par renforcement à partir des préférences humaines. Il s’agit d’utiliser les méthodes du RL pour optimiser directement un agent avec le retour d’information d’un humain. Au lieu de définir une fonction de récompense à l’avance, qui peut être imprécise ou erronée, on laisse l’humain évaluer la qualité des actions de l’agent et lui donner des indications pour s’améliorer.

Le RLHF a été utilisé avec succès pour entraîner des modèles de langage, capables de générer du texte à partir de consignes humaines. Par exemple, InstructGPT est un modèle basé sur GPT-3 qui a été optimisé avec le RLHF pour réaliser des tâches variées comme écrire des histoires, résumer des articles ou créer des tweets. ChatGPT est un modèle qui utilise le RLHF pour apprendre à converser avec les humains de manière cohérente et intéressante.

Le processus du RLHF : trois étapes clés

Le RLHF implique un processus d’apprentissage en plusieurs étapes et modèles. Voici les trois étapes principales :

• Pré-entraîner un modèle de langage (LM) avec les objectifs classiques du pré-apprentissage (par exemple, la prédiction du prochain mot).
• Collecter des données et entraîner un modèle de récompense (RM) à partir du feedback humain. Le feedback humain peut prendre la forme d’un choix entre deux extraits de texte générés par le LM, indiquant lequel se rapproche le plus de l’objectif souhaité.
• Affiner le LM avec le RL en utilisant le RM comme fonction de récompense. Le LM apprend ainsi à maximiser la récompense du RM et à améliorer son comportement selon les préférences humaines.

Les avantages du RLHF : une méthode flexible et robuste

Le RLHF présente plusieurs avantages par rapport aux méthodes classiques d’entraînement des modèles de langage :

• Il permet d’adapter le LM à des objectifs spécifiques sans avoir besoin de définir une fonction de récompense explicite ou de collecter des données annotées.
• Il permet à l’humain de corriger les comportements indésirables ou dangereux de l’agent, ce qui est crucial pour la sécurité de l’intelligence artificielle.
• Il ne demande pas beaucoup d’effort à l’humain, qui n’a qu’à évaluer une petite fraction du comportement de l’agent (environ 0,1 %).

Le RLHF est donc une méthode clé pour rendre les systèmes intelligents plus alignés avec les valeurs et les attentes humaines.

Les limites du RLHF

Le RLHF a aussi des limites et des défis à surmonter. Voici quelques-uns :

• Le coût et la scalabilité du feedback humain, qui peut être lent et cher par rapport à l’apprentissage non supervisé. Il faut donc trouver des moyens d’optimiser la collecte et l’utilisation du feedback humain.
• La qualité et la cohérence du feedback humain, qui peut varier selon la tâche, l’interface et les préférences individuelles des humains. Il faut donc s’assurer que le feedback humain soit représentatif et fiable
• L’alignement et la robustesse du modèle de récompense, qui peut ne pas capturer tous les aspects souhaitables ou indésirables du comportement de l’agent, ou être exploité par des boucles ou des failles. Il faut donc vérifier et contrôler le modèle de récompense régulièrement

---

Mes livres

Le Basilic de Roko	Mon parcours de rédacteur web	Science corrompue et servile	Nous, Tueurs en série