Prompt engineering : Nouveau métier ou Bullshit Job ?

Le prompt engineering est la technique pour guider le comportement d’un chatbot. Certains le considèrent déjà comme un nouveau métier, mais on pense surtout que c’est un nouveau Bullshit Job de plus.

Le prompt, c’est quoi ?

Le prompt, c’est ce que vous tapez dans un chatbot pour lui donner un rôle, des connaissances et des comportements spécifiques. Par exemple, si vous voulez que le chatbot joue le rôle d’un agent de service client, vous pouvez lui donner des informations sur le produit ou le service que vous vendez, les questions fréquentes des clients, les réponses appropriées, etc.

Le prompt est “le mécanisme principal” pour interagir avec un modèle de langage et un outil “énormément efficace”, selon l’équipe de recherche de Microsoft. Il doit être “précis et exact” ou le modèle devra le deviner. Mais attention, il ne suffit pas de taper n’importe quoi. Il faut respecter certaines règles de base pour que le prompt soit adapté au chatbot.

Par exemple, Microsoft recommande d’éviter les opinions subjectives ou la répétition, de discuter ou d’insister sur la façon de procéder avec le client, et de mettre fin à un fil de chat qui devient controversé. Il faut aussi éviter que le chatbot soit vague, hors-sujet ou qu’il insère des images dans la réponse.

Le prompt engineering, c’est facile ?

Pas vraiment. Créer des prompts efficaces demande une certaine créativité et s’apprend par la pratique, selon l’équipe de recherche. Il faut créer un cadre dans lequel expérimenter des idées et les affiner. “La génération de prompts peut être apprise en pratiquant“, écrit l’équipe.

Mais il faut aussi maîtriser des techniques avancées comme la génération augmentée par récupération (RAG) et le découpage de la base de connaissances. Ces techniques permettent de traiter des données diverses et volumineuses en assemblant des morceaux de données pertinents pour chaque problème client, de les comparer avec des données historiques et des retours d’agents, et de les intégrer dans le modèle GPT pour générer la meilleure réponse possible.

Le prompt engineering, c’est l’avenir ?

C’est difficile à dire. D’un côté, il est vrai que la sortie du modèle dépend beaucoup du prompt. D’un autre côté, l’aléatoire du générateur de texte rend difficile l’étude de l’efficacité des méthodes ou des éléments individuels des prompts selon des critères scientifiques. Par exemple, on peut se demander si les prompts très longs produisent vraiment de meilleurs résultats que les prompts concis. Ces affirmations sont difficiles à vérifier et sont surtout lucratives pour certains modèles économiques.

À terme, le prompt engineering pourrait évoluer d’un langage pseudo-programmation à un processus créatif dans la gestion des flux de travail. Il s’agirait alors de savoir quelles tâches peuvent être capturées par les modèles de langage, et avec quelle fiabilité. Le modèle de langage pourrait alors générer lui-même les prompts exacts à partir de requêtes, de tests de réglage fin et d’exemples. Les travailleurs humains devraient principalement connaître les capacités des systèmes et définir et établir de nouvelles façons de travailler.

---

Mes livres

Le Basilic de Roko	Mon parcours de rédacteur web	Science corrompue et servile	Nous, Tueurs en série