Llama 2 : L’IA Open Source et gratuite qui défie ChatGPT

Meta vient de dévoiler Llama 2, son nouveau modèle de langage à grande échelle qui se positionne comme une alternative ouverte et gratuite à OpenAI. Microsoft est partenaire du projet et propose le modèle sur sa plateforme Azure.

Llama 2 est un modèle de langage qui peut générer du texte à partir d’un mot-clé, d’une phrase ou d’un contexte. Il peut être utilisé pour des applications comme la génération de contenu, la traduction, la recherche d’information ou la conversation.

Le modèle est disponible en trois tailles, avec 7, 13 et 70 milliards de paramètres, et a été entraîné avec 40 % de données en plus que la version précédente, Llama v1. Il peut traiter jusqu’à 4096 tokens, soit le double de son prédécesseur et autant que ChatGPT, le modèle de conversation basé sur GPT-3.5.

Selon Meta, Llama 2 surpasse Llama v1 et les autres modèles ouverts dans tous les tests de performance. Il se distingue notamment dans le test MMLU (Massive Multi-Task Language Understanding), qui évalue la capacité du modèle à comprendre différents types de langage.

Meta affirme avoir utilisé des sources de données publiques et en ligne pour entraîner Llama 2. Le modèle de conversation, Llama-2-chat, utilise également des jeux de données publics et plus d’un million d’annotations humaines. Il a été optimisé avec la même méthode que ChatGPT, le Reinforcement Learning from Human Feedback (RLHF).

Meta met à disposition les modèles gratuitement sur le site web de Llama, après avoir rempli un formulaire d’inscription. Chaque téléchargement comprend le code du modèle, les poids, le manuel d’utilisation, le guide d’utilisation responsable, les directives d’utilisation acceptable, la fiche du modèle et la licence.

Une version démo gratuite du modèle de conversation avec 7 et 13 milliards de paramètres est disponible sur ce site web.

Meta s’associe à Microsoft

De manière surprenante, Meta présente le modèle Llama en partenariat avec Microsoft, le plus grand investisseur d’OpenAI. Microsoft semble vouloir se positionner à la fois dans l’espace fermé et ouvert et rendre les modèles accessibles aux entreprises via son infrastructure Azure. Meta propose également Llama via Amazon Web Services, Hugging Face et d’autres fournisseurs.

Les deux sociétés ont une histoire commune de création d’écosystèmes d’IA ouverts et de soutien à PyTorch – un framework d’IA co-développé par Meta – sur Microsoft Azure, selon l’annonce du modèle.

La collaboration vise également à permettre des expériences immersives pour le futur du travail et du jeu dans le métavers. Microsoft a annoncé pour la première fois un logiciel Office pour les casques VR de Meta l’automne dernier.

Par ailleurs, Meta souligne l’importance d’une utilisation responsable de l’IA et fournit des ressources comme des exercices de red-teaming, un schéma de transparence, un guide d’utilisation responsable et une politique d’utilisation acceptable pour garantir une utilisation équitable et responsable de Llama 2.

Meta se protège également de son pari ouvert avec une série de soutiens d’experts qui saluent la sortie du modèle, malgré les risques. “L’innovation responsable et ouverte nous donne à tous une part dans le processus de développement de l’IA, apportant visibilité, examen critique et confiance à ces technologies. Ouvrir les modèles Llama d’aujourd’hui permettra à tout le monde de bénéficier de cette technologie”, lit-on dans le communiqué.

Le chef de l’IA de Meta, Yann LeCun, l’un des chercheurs les plus renommés dans le domaine de l’intelligence artificielle, célèbre la sortie de Llama 2 sur Twitter, en disant : “Cela va changer le paysage du marché des LLM”.

La sortie confirme certaines rumeurs des dernières semaines, notamment que Llama v2 est viable commercialement et devrait ralentir la croissance d’OpenAI. Meta pourrait se mettre dans une position stratégiquement intéressante en tirant parti du mouvement open-source.