FreeWilly, des IA qui surpassent déjà Llama 2

Stability AI a publié deux nouveaux modèles de langage de grande taille en collaboration avec CarperAI. L’un d’eux est basé sur le Llama v2 de Meta, améliorant ses performances et montrant la rapidité du développement open source.

Les deux modèles FreeWilly sont basés sur les modèles Llama de Meta, avec FreeWilly2 utilisant déjà le nouveau modèle Llama-2 avec 70 milliards de paramètres. L’effort propre de l’équipe FreeWilly est un “affinage minutieux” avec un nouveau jeu de données synthétique généré avec des “instructions de haute qualité”.

Du grand au petit

L’équipe a utilisé la “méthode Orca” de Microsoft, qui consiste à apprendre à un petit modèle le processus de raisonnement étape par étape d’un grand modèle de langage, plutôt que de simplement imiter son style de sortie. Pour ce faire, les chercheurs de Microsoft ont créé un jeu de données d’entraînement avec le modèle plus grand, dans ce cas GPT-4, contenant ses processus de raisonnement étape par étape.

Le but de ces expériences est de développer des petits modèles d’IA qui ont des performances similaires à celles des grands, une sorte de principe maître-élève. Orca surpasse des modèles de taille similaire dans certains tests, mais ne peut pas égaler les modèles originaux.

L’équipe FreeWilly dit avoir créé un jeu de données de 600 000 points de données avec les invites et les modèles de langage qu’ils ont choisis, soit seulement environ dix pour cent du jeu de données utilisé par l’équipe Orca. Cela réduit considérablement la quantité d’entraînement nécessaire et améliore l’empreinte environnementale du modèle, selon l’équipe.

FreeWilly2 surpasse déjà Llama v2

Dans les benchmarks communs, le modèle FreeWilly entraîné de cette façon obtient des résultats équivalents à ceux de ChatGPT dans certaines tâches logiques, avec le modèle FreeWilly 2 basé sur Llama 2 qui surpasse nettement FreeWilly 1.

En moyenne sur tous les benchmarks, FreeWilly 2 est environ quatre points devant Llama v2, un premier indice que le nouveau modèle standard de Meta a une marge d’amélioration et que la communauté open source peut aider à l’exploiter.

Dans l’ensemble, FreeWilly 2 occupe actuellement la tête de la liste des modèles open source les plus performants, avec le Llama 2 original encore légèrement en avance sur le benchmark important de compréhension du langage général MMLU.

FreeWilly1 et FreeWilly2 établissent un nouveau standard dans le domaine des modèles de langage à grande échelle en accès libre. Ils font avancer significativement la recherche, améliorent la compréhension du langage naturel et permettent des tâches complexes. Les modèles FreeWilly sont développés uniquement à des fins de recherche et publiés sous une licence non commerciale. Ils peuvent être téléchargés depuis HuggingFace.

---

Mes livres

Le Basilic de Roko	Mon parcours de rédacteur web	Science corrompue et servile	Nous, Tueurs en série