Dolly : un nouveau ChatGPT, mais entièrement Open Source !
Français
Découvrez Dolly, le modèle LLM de Databricks qui rivalise avec ChatGPT en termes de performances. Basé sur des ensembles de données ciblées, ce modèle peu coûteux est la solution idéale pour les entreprises souhaitant créer leur propre modèle LLM.
Suivez-nous sur notre page Facebook et notre canal Telegram
Databricks présente Dolly, une LLM à faible coût qui démontre des niveaux élevés et surprenants de capacités d’obéissance à l’instruction, semblables à celles observées dans ChatGPT. Ce travail indique que toute personne ayant accès à des données de formation de haute qualité et à un modèle de langue de grande taille open source (LLM) obsolète peut le former à fonctionner comme ChatGPT en moins de 30 minutes sur une seule machine.
Si vous avez apprécié cet article, soutenez-moi sur Patreon ou Buy me a coffee Vous recevrez chaque semaine du contenu exclusif et des réponses à vos questions. Merci ! 😊
Dolly utilise des données provenant d’Alpaca pour apporter des ajustements mineurs à un modèle open source de 6 milliards de paramètres provenant de EleutherAI afin de susciter des capacités d’obéissance à l’instruction telles que la génération d’idées et de textes.
De nombreux facteurs rendent préférable pour une entreprise de créer son propre modèle LLM plutôt que de fournir des données à un fournisseur centralisé de modèle LLM qui utilise un modèle propriétaire dissimulé derrière une API. Par exemple, de nombreuses entreprises peuvent hésiter à confier leur propriété intellectuelle la plus précieuse à un tiers sous la forme d’ensembles de données.
Les entreprises peuvent également avoir des priorités variables en ce qui concerne la qualité du modèle, le coût et le comportement souhaité. L’équipe a estimé que posséder ses propres modèles était la meilleure stratégie à long terme pour la plupart des utilisateurs de ML.
Ce travail met en évidence que même des modèles open source datant de plusieurs années, dotés d’architectures bien antérieures, présentent des comportements frappants lorsqu’ils sont finement ajustés sur un petit corpus de données d’entraînement d’instructions.
Le succès de Dolly est d’autant plus remarquable que le modèle qui le sous-tend, vieux de deux ans seulement, ne compte que 6 milliards de paramètres, contre 175 milliards pour GPT-3. En évaluant les compétences d’obéissance à l’instruction de Dolly, les chercheurs ont constaté qu’il possède de nombreuses qualités qualitatives, comme indiqué dans le document InstructGPT sur lequel ChatGPT est basé. Celles-ci incluent la production de texte, la génération d’idées et les questions-réponses ouvertes.
L’équipe a publié le code source de Dolly pour démontrer comment le recréer en utilisant Databricks. Avec l’aide de modèles comme Dolly, ils prévoient que les LLM deviendront plus accessibles, passant d’un objet de luxe que seules quelques entreprises peuvent acheter à un outil standard que toutes les entreprises peuvent utiliser et ajuster pour améliorer leurs produits.
Si vous avez apprécié cet article, soutenez-moi sur Patreon ou Buy me a coffee Vous recevrez chaque semaine du contenu exclusif et des réponses à vos questions. Merci ! 😊
