ChatGLM : un chatbot open source qui parle anglais et chinois

En quelques mots simples

ChatGLM est un robot de discussion qui peut parler en anglais et en chinois. Il utilise un modèle d’intelligence artificielle qui a appris beaucoup de choses à partir de textes dans ces deux langues. ChatGLM peut répondre aux questions, traduire des phrases et avoir des conversations avec les utilisateurs. ChatGLM est un projet open source, ce qui signifie que tout le monde peut l’utiliser et l’améliorer.

Introduction

Un robot de discussion, ChatGLM (version de test alpha interne : QAGLM), conçu spécifiquement pour les utilisateurs chinois, vient de voir le jour. Il est doté d’un modèle de langage chinois-anglais de 100 milliards de paramètres avec des fonctionnalités de question-réponse et de conversation.

Cette version en test interne et réservée aux invitations sera progressivement élargie. Les chercheurs ont également publié le nouveau modèle GLM de discussion bilingue chinois-anglais, ChatGLM-6B, qui peut être déployé localement sur des cartes graphiques grand public (INT4) grâce à la technologie de quantification de modèle.

Cela fait suite au modèle de piédestal ouvert GLM-130B de 100 milliards de paramètres. Au niveau de la quantification, seulement 6 Go de RAM vidéo sont nécessaires. Bien que ChatGLM-6B, qui possède 6,2 milliards de paramètres, soit plus petit que les modèles de 100 milliards, il réduit considérablement le seuil de déploiement pour l’utilisateur.

Après environ 1 milliard d’identificateurs de formation bilingue chinois-anglais, il a généré des réponses conformes aux préférences humaines, complétées par une supervision et un affinage, une auto-assistance par rétroaction, un apprentissage par renforcement de la rétroaction humaine et d’autres technologies.

ChatGLM

ChatGLM prend pour point de départ le concept de ChatGPT, intègre la préformation de code dans le modèle de base GLM-130B de 100 milliards de paramètres, et atteint l’alignement avec l’intention humaine grâce à un affinage supervisé et d’autres méthodes. Le modèle de base exclusif GLM-130B de 100 milliards de paramètres est largement responsable des capacités accrues de la version actuelle de ChatGLM.

Contrairement à BERT, GPT-3 ou T5, ce modèle est une architecture de préformation autorégressive avec de nombreuses fonctions d’objectif. Les chercheurs ont publié le modèle dense chinois-anglais de 130 milliards de paramètres, GLM-130B 1, à la communauté académique et commerciale en août 2022.

ChatGLM : avantages et caractéristiques clés

• ChatGLM traite du texte dans différentes langues et possède des capacités de compréhension et de génération de langage naturel. Il a été enseigné en profondeur et est très compétent dans de nombreux domaines, ce qui lui permet de fournir des informations précises et utiles aux utilisateurs.
• Il peut inférer les relations et la logique pertinentes entre les textes en réponse aux requêtes de l’utilisateur. Il peut apprendre de ses utilisateurs et de son environnement, et mettre à jour automatiquement ses modèles et algorithmes. Plusieurs secteurs bénéficient de cette technologie, notamment l’instruction, les soins de santé et la banque.
• Elle aide les individus à trouver des réponses et à résoudre des problèmes plus rapidement et plus facilement. Elle sensibilise et pousse à la progression dans le domaine de l’intelligence artificielle.

Défis et limites

Conçu comme un modèle de machine dépourvu de sentiments et de conscience, ChatGLM manque donc de capacité d’empathie et de raisonnement moral partagé par les humains. Il peut être facilement trompé ou tirer des conclusions incorrectes car la connaissance dépend des données et des algorithmes.

Il peut rencontrer des incertitudes en répondant à des problèmes abstraits ou difficiles ; il peut avoir besoin d’aide pour répondre avec précision à ce type de questions.

ChatGLM-130B et ChatGLM-6B : les modèles révolutionnaires de traitement du langage naturel

Les modèles de traitement du langage naturel de grande envergure sont de plus en plus utilisés dans divers domaines, allant de l’enseignement à la santé en passant par la banque. En novembre 2022, le Big Model Center de l’Université de Stanford a évalué 30 des modèles les plus populaires à l’échelle mondiale, avec le GLM-130B étant le seul modèle d’Asie à figurer dans la liste.

Selon le rapport d’évaluation, le GLM-130B se compare à GPT-3 175B (davinci) pour tous les modèles de piédestal à l’échelle de 100 milliards en termes d’indicateurs de précision et de malveillance, de robustesse et d’erreur de calibration.

Le ChatGLM-6B, quant à lui, est un modèle de langue chinois-anglais de 6,2 milliards de paramètres. Conçu pour faciliter les sessions de questions-réponses en mandarin, le ChatGLM-6B utilise une méthode très similaire à celle de ChatGPT. Les chercheurs ont utilisé le fine-tuning supervisé, le bootstrap de feedback et l’apprentissage par renforcement avec l’entrée humaine pour entraîner le modèle sur un corpus combiné de 1T de jetons chinois et anglais.

Le modèle ChatGLM-6B est une version multilingue open-source du cadre de modèle de langage générique (GLM) avec environ 6,2 milliards de paramètres. La méthode de quantification permet aux clients de le déployer localement sur du matériel graphique de bas de gamme tel que la 2080Ti. Les chercheurs ont publié le modèle ChatGLM-6B en open-source pour faciliter le développement de la technologie de modèles de grande envergure dans la communauté.

Les caractéristiques qui distinguent ChatGLM-6B

• ChatGLM-6B est un modèle linguistique multilingue de 6,2 milliards de paramètres entraîné sur un mélange de contenu chinois et anglais dans une proportion de 1:1, ce qui permet de couvrir un large éventail de langues.
• La technique d’encodage de position RoPE à deux dimensions a été améliorée grâce à l’expérience d’entraînement de GLM-130B, en utilisant une structure FFN conventionnelle. La taille gérable des paramètres de ChatGLM-6B permet également un accordage et un déploiement indépendants par les universitaires et les développeurs individuels.
• ChatGLM-6B nécessite au moins 13 Go de RAM vidéo pour raisonner en précision FP16. Toutefois, cette exigence peut être réduite à 10 Go (INT8) et 6 Go (INT4) grâce à la technologie de quantification de modèle, ce qui permet de le déployer sur des cartes graphiques grand public.
• Avec une longueur de séquence de 2048, ChatGLM-6B convient parfaitement aux conversations et aux applications plus longues que GLM-10B (longueur de séquence : 1024).
• Le modèle est entraîné pour interpréter les intentions d’enseignement humaines en utilisant des techniques de “Supervised Fine-Tuning”, de “Feedback Bootstrap” et de “Reinforcement Learning” à partir des retours des humains. Le format de balisage affiché est le résultat de cette formation.
• Ces fonctionnalités font de ChatGLM-6B un modèle linguistique puissant et polyvalent, capable de traiter de grands volumes de données multilingues avec précision et efficacité. Sa capacité à être déployé sur des cartes graphiques grand public, en particulier grâce à la technologie de quantification de modèle, offre une solution économique pour les universitaires et les développeurs individuels qui cherchent à utiliser cette technologie pour leurs projets.

---

Mes livres

Le Basilic de Roko	Mon parcours de rédacteur web	Science corrompue et servile	Nous, Tueurs en série