L’Alpaca qui met OpenAI au placard !
Français
Alpaca est un modèle de langage qui reproduit les capacités du GPT-3.5 d’OpenAI. Créé par des chercheurs de Stanford à partir du modèle LLaMA de Meta, il coûte moins de 600 $. Quelles sont les implications pour la recherche en IA ?
Suivez-nous sur notre page Facebook et notre canal Telegram
L’entraînement de grands modèles de langage est coûteux, et les modèles puissants restent le monopole des grandes entreprises technologiques… jusqu’à présent. Des chercheurs de Stanford ont utilisé 52 000 démonstrations d’exécution d’instructions générées par le GPT-3.5 d’OpenAI (text-davinci-003) pour affiner une variante à sept milliards de paramètres du modèle LLaMA récemment annoncé par Meta.
Si vous avez apprécié cet article, soutenez-moi sur Patreon ou Buy me a coffee Vous recevrez chaque semaine du contenu exclusif et des réponses à vos questions. Merci ! 😊
L’entraînement par instruction est l’une des techniques clés qui rendent le GPT-3.5 supérieur au modèle GPT-3 original et les données d’entraînement utilisées sont propriétaires à OpenAI. Alors que RLHF est essentiel pour ajuster des modèles comme ChatGPT ou même GPT-4, les capacités essentielles des modèles sont basées sur leur entraînement initial, c’est-à-dire, l’entraînement avec des instructions.
L’Alpaca de Stanford s’est entrainé avec OpenAI… pour le surpasser par la suite
Dans leur travail, le groupe de Stanford a utilisé les instructions générées par l’intelligence artificielle pour entraîner Alpaca 7B, un modèle de langage que les chercheurs disent présenter de nombreux comportements similaires à ceux du modèle text-davinci-003 d’OpenAI. Dans un test à l’aveugle utilisant des entrées provenant du Self-Instruct Evaluation Set, les deux modèles ont obtenu des performances comparables selon l’équipe.
Alpaca présente des problèmes communs à d’autres modèles de langage, tels que les hallucinations, la toxicité et la stéréotypation. En particulier, les hallucinations se produisent plus fréquemment que dans le modèle OpenAI.
L’équipe met à disposition une démo interactive, le jeu de données d’entraînement et le code d’entraînement. Elle a également demandé à Meta l’autorisation de publier le modèle.
Avec cette publication, l’équipe espère permettre la recherche sur les modèles de langage entraînés avec des instructions. Pour éviter les abus, elle a inclus un filtre de contenu via l’API OpenAI et un filigrane dans la démo.
Le modèle ne peut pas être utilisé à des fins commerciales. Outre les préoccupations liées à la sécurité et à la licence non commerciale du modèle LLaMA de Meta, l’équipe renvoie aux conditions d’utilisation du GPT-3.5 d’OpenAI qui stipulent que le modèle ne peut pas être utilisé pour développer des modèles d’IA qui font concurrence à OpenAI.
L’entrainement bon marché d’Alpaca pose problème à OpenAI
Le dernier point est une indication qu’OpenAI est conscient que la sortie de ses propres modèles peut être utilisée comme source de données pour des répliques potentielles. Avec la fuite des modèles LLaMA plus grands avec jusqu’à 65 milliards de paramètres, il est concevable que ces projets soient déjà en cours et qu’ils puissent également utiliser la sortie du GPT-4.
En plus de ses performances impressionnantes pour un modèle aussi petit, Alpaca montre aussi comment l’entrainement en IA est devenu abordable : l’équipe a entrainé Alpaca 7B pour moins de 600 $. Les modèles plus grands seront plus coûteux, mais le coût attendu devrait être dans une fourchette qui peut être facilement financée par des entreprises ou des projets participatifs.
Comme le dit Eliezer Yudkowsky, partisan acharné de l’IA généraliste et un personnage connu pour son implication dans l’affaire du Basilic de Roko :
Si vous autorisez un accès suffisamment large à votre modèle d’IA, même via une API payante, vous donnez les joyaux de votre entreprise à des concurrents qui peuvent alors presque cloner votre modèlesans tout le travail acharné que vous avez fait pour créer le vôtre. affiner l’ensemble de données.
Si vous appliquez avec succès une restriction contre la commercialisation d’une imitation formée sur votre E/S, une perspective légale qui n’a jamais été testée, à ce stade, cela signifie que les points de contrôle concurrents seront publiés sur BitTorrent.
En fait, OpenAI a utilisé le dilemme de l’inventeur contre Google et Facebook pour leur damer le pion et être le premier sur la révolution de l’IA. Mais à son tour, il se fait damer le pion par d’autres concurrents moins puissants. Et c’est une bonne et mauvaise chose. Car vous perdez votre avantage concurrentiel, mais le grand public bénéficie d’un accès plus large à l’IA et ce, à des couts beaucoup plus bas. Et c’est la clé, car ceux qui contrôleront les IA, contrôleront le monde.
Si vous avez apprécié cet article, soutenez-moi sur Patreon ou Buy me a coffee Vous recevrez chaque semaine du contenu exclusif et des réponses à vos questions. Merci ! 😊
