StableCode, l’IA qui veut créer un milliard de codeurs

Stability AI a annoncé le lancement de StableCode, un modèle de langage pour la génération de code, sous la licence Apache 2.0. StableCode est basé sur trois modèles : un modèle de base de trois milliards de paramètres, pré-entraîné avec de nombreux langages de programmation, un modèle d’instruction, affiné avec des exemples d’applications concrètes, et un modèle 16K, capable de gérer un plus grand contexte de code.

StableCode est construit sur le modèle GPT-NeoX d’Eleuther, qui a été pré-entraîné avec le jeu de données BigCode, contenant des codes sources dans divers langages de programmation. Le modèle de base a ensuite été étendu avec des langages supplémentaires tels que Python, Go, Java, Javascript, C, Markdown et C++, pour un total de 560 milliards de jetons.

Le modèle d’instruction a été construit sur le modèle de base, et a été affiné avec la formule Alpaca, qui permet de “résoudre des tâches de programmation complexes” à partir  de simples prompts. Stability AI a utilisé un total de 120 000 paires d’instructions et leurs solutions. Stability AI n’a pas fourni d’évaluation des performances du modèle par rapport à des modèles existants tels que Starcoder ou Github Copilot.

Le modèle 16K est une variante du modèle standard, qui dispose d’une fenêtre de contexte plus large, pouvant atteindre 16 000 jetons. Cela permet au modèle de voir plus de code à la fois pour résoudre une tâche, et potentiellement de générer un meilleur code. Selon Stability AI, le modèle 16K peut voir ou modifier l’équivalent de cinq fichiers Python de taille moyenne à la fois, ce qui devrait être particulièrement utile pour les débutants. Les deux modèles peuvent générer et compléter une ou plusieurs lignes de code.

“Les gens de tous horizons pourront bientôt créer du code pour résoudre leurs problèmes quotidiens et améliorer leur vie grâce à l’IA, et nous voulons contribuer à cela”, écrit la société. Le PDG de Stability AI, Emad Mostaque, annonce également des “variantes très intéressantes” de StableCode en préparation, affirmant que “la programmation sera transformée au point qu’il y aura un milliard de codeurs”.

Stability AI a déjà publié en open source son premier modèle de langage, StableLM, en avril, ainsi que “Free Willy”, un modèle de langage basé sur Llama v2 de Meta et affiné avec un jeu de données synthétique. Il égale ou dépasse les performances du modèle original et, dans une certaine mesure, celles de GPT-3.5 (ChatGPT).