Llama 3, le concurrent gratuit de GPT-4, bientôt lancé par Meta ?

Meta aurait l’intention de lancer prochainement un nouveau modèle de langage appelé Llama 3, capable de concurrencer le puissant GPT-4 d’OpenAI, mais qui resterait accessible gratuitement sous la licence Llama.

C’est ce qu’a révélé Jason Wei, un ingénieur d’OpenAI qui travaillait auparavant chez Google Brain, lors d’un événement social organisé par Meta pour le groupe Generative AI. Wei affirme avoir surpris une conversation selon laquelle Meta disposerait désormais de suffisamment de puissance de calcul pour entraîner Llama 3 et 4. Llama 3 aurait pour objectif d’atteindre le niveau de performance de GPT-4, mais resterait librement disponible.

Overheard at a Meta GenAI social:

“We have compute to train Llama 3 and 4. The plan is for Llama-3 to be as good as GPT-4.”

“Wow, if Llama-3 is as good as GPT-4, will you guys still open source it?”

“Yeah we will. Sorry alignment people.”

— jason (@agikoala) August 25, 2023

Il s’agit toutefois d’une rumeur non confirmée, qui pourrait être erronée ou sujette à changement. Meta n’a fait aucune déclaration officielle sur le lancement éventuel de Llama 3. Meta a mis environ cinq mois entre la sortie de Llama 1 fin février 2023 et celle de Llama 2 fin juillet 2023. GPT-4 dispose d’une architecture plus sophistiquée que les Llama standards

GPT-4 doit probablement sa haute performance à l’utilisation d’une architecture plus complexe de type mixture-of-experts, avec 16 réseaux experts, chacun comptant environ 111 milliards de paramètres. Passer de Llama 2 à Llama 3 pourrait donc être plus difficile que simplement augmenter l’échelle de l’entraînement, et pourrait prendre plus de temps que le passage de Llama 1 à Llama 2.

Llama 2 atteint le niveau de GPT-3.5 dans certaines applications et est également optimisé par la communauté open-source grâce au fine-tuning et à l’ajout de fonctionnalités. Par exemple, le modèle Code Llama, basé sur Llama 2, obtient des résultats équivalents à GPT-3.5 et GPT-4 (selon le type de mesure) dans le benchmark HumanEval pour la programmation.

Toutefois, dans le papier sur Llama 2, Meta reconnaît qu’il existe encore un grand écart de performance avec les modèles fermés comme GPT-4 et PaLM-2 de Google.

Le Financial Times rapportait mi-juillet que le principal objectif des modèles Llama de Meta était de briser la domination d’OpenAI sur le marché des modèles de langage. Meta chercherait à imposer les modèles Llama comme une technologie habilitante sur ce marché, à l’instar de ce que Google a fait avec Android sur le marché mobile, pour proposer ensuite des offres complémentaires. Meta profite également du développement rapide des modèles par la communauté open-source.

Le PDG d’OpenAI, Sam Altman, déclarait début juin 2023 que GPT-5 était encore loin d’être lancé. Google prévoit quant à lui de lancer Gemini, la prochaine génération de modèles multimodaux, fin 2023 ou début 2024.