Vicuna : un chatbot open-source qui rivalise avec ChatGPT

Les modèles de langage à grande échelle sont devenus très populaires récemment. GPT-4, qui a été lancé en mars 2023, est l’un des modèles de transformateurs les plus connus. Le chatbot peut générer des informations textuelles et imiter les humains dans la réponse aux questions. Après le grand succès de GPT 3.5, GPT-4 est la dernière étape de la mise à l’échelle de l’apprentissage profond et de l’intelligence artificielle générale.

Un autre modèle appelé LLaMA (Large Language Model Meta AI) a été lancé par Meta AI au mois de février 2023. Avec 13 milliards de paramètres, les chercheurs derrière le développement de LLaMA ont mentionné que les performances du modèle sur la plupart des benchmarks du traitement automatique du langage naturel dépassaient largement celles du modèle GPT-3 de 175 milliards. Le plus grand modèle était même compétitif avec les modèles de pointe comme PaLM et Chinchilla.

Maintenant Vicuna entre en scène, un chatbot open-source avec 13 milliards de paramètres, développé par une équipe de l’UC Berkeley, de la CMU, de Stanford et de l’UC San Diego, et entraîné en affinant le modèle LLaMA sur les conversations partagées par les utilisateurs. Les conversations ont été collectées depuis ShareGPT via des APIs publiques. ShareGPT est une extension Chrome qui permet aux utilisateurs de partager leurs conversations précédentes avec ChatGPT avec d’autres utilisateurs en un seul clic. Vicuna a été créé en affinant simplement le modèle de base de LLaMA. Il a utilisé environ 70 000 conversations partagées par les utilisateurs sur ShareGPT.

Le code de formation, de service et d’évaluation a été partagé sur Github. Les chercheurs ont mentionné qu’en collectant les données des conversations, la partie HTML a été convertie en langage Markdown. Cela a été fait pour filtrer les conversations inappropriées ou de faible qualité. De plus, les conversations longues ont été divisées en segments plus petits pour qu’elles s’adaptent à la longueur maximale du contexte du modèle.

Le modèle a été construit sur le dessus d’Alpaca de Stanford avec certaines améliorations telles que :

• Optimisation de la mémoire – La longueur maximale du contexte a été augmentée de 512 à 2048 dans Alpaca, ce qui augmente les exigences de la mémoire GPU. L’utilisation de la mémoire a été traitée en utilisant le gradient checkpointing et l’attention flash.
• Conversations multi-tour – Le processus de formation a été ajusté pour tenir compte des conversations multi-tour. Cela permet au chatbot de répondre de manière plus précise aux conversations multi-tour pour une expérience de haute qualité.
• Réduction des coûts – SkyPilot a utilisé une instance à faible coût pour réduire les coûts de formation en utilisant des instances moins chères avec une récupération automatique et une commutation de zone. Cela a permis de former le modèle 7B pour environ 140 dollars et le modèle 13B pour environ 300 dollars.

L’équipe derrière LLaMA a évalué la performance de Vicuna en utilisant le modèle GPT-4. Vicuna a obtenu d’excellents résultats et a atteint un score de qualité de plus de 90 % par rapport à d’autres chatbots célèbres tels que ChatGPT et Google Bard. Il s’est mieux comporté que les modèles de chatbot tels que LLaMA et Stanford Alpaca dans plus de 90 % des cas. Le coût total de la formation de Vicuna est d’environ 300 dollars, ce qui en fait une solution rentable pour le développement de chatbots.

Vicuna-13B est un excellent développement à faible coût dans le domaine des chatbots. Bien qu’il présente certaines limites en matière de raisonnement ou de mathématiques, avec quelques recherches et modifications supplémentaires, il pourrait se révéler très utile et prometteur pour une utilisation future.

---

Mes livres

Le Basilic de Roko	Mon parcours de rédacteur web	Science corrompue et servile	Nous, Tueurs en série