Comment Google a boosté son chatbot Bard avec Gemini Pro-Scale
Français
Bard, le chatbot de Google, a bénéficié des mises à jour du modèle d’IA Gemini Pro-Scale. Ce modèle, annoncé par Jeff Dean, le responsable de l’IA chez Google, se mesure à GPT-4, le modèle de pointe d’OpenAI, dans les dialogues.
Suivez-nous sur notre page Facebook et notre canal Telegram
Le responsable de l’IA chez Google, Jeff Dean, a annoncé le nouveau modèle Gemini sur X. Il s’agit d’un modèle de la famille Gemini Pro avec le suffixe “scale”. Grâce aux mises à jour de Gemini, Bard est “beaucoup mieux” et a “beaucoup plus de capacités” par rapport au lancement en mars, selon Dean.
Si vous avez apprécié cet article, soutenez-moi sur Patreon ou Buy me a coffee Vous recevrez chaque semaine du contenu exclusif et des réponses à vos questions. Merci ! 😊
Bard, powered by the Gemini Pro-scale model, debuts at the #2 position on the independent lmsys leaderboard. 🔥
Give it a try at https://t.co/m9D7JYUfls. Bard is much better & has many more capabilities since its debut in March, thanks to everyone on the Bard/Gemini teams! https://t.co/rOPTbOE4v8
— Jeff Dean (@🏡) (@JeffDean) January 26, 2024
Dean n’explique pas ce que signifie “scale”, mais le nom suggère qu’il pourrait s’agir d’une version plus grande (scalée) du modèle Pro précédent, qui selon les benchmarks ne bat même pas GPT-3.5 (ChatGPT gratuit). Pro est le modèle Gemini de deuxième niveau de Google, derrière le modèle Gemini Ultra haut de gamme, qui n’a pas encore été lancé.
GPT-Pro “scale” à égalité avec GPT-4 dans l’évaluation humaine
Fait remarquable, le nouveau modèle Pro a immédiatement pris la deuxième place dans le benchmark Chatbot Arena neutre, devant les deux modèles GPT-4 0314 (mars 2023) et 0613 (été 2023), mais derrière GPT-4 Turbo (novembre 2023). Le nouveau modèle Bard est le premier à s’immiscer dans le phalange GPT-4.
Comparatif de Bard avec le modèle Gemini Pro-Scale comparé aux autres, il arrive déjà second derrière GPT-4
Chatbot Arena utilise le système de notation Elo utilisé dans les échecs et les sports électroniques pour évaluer et comparer les performances des différents modèles de langage. Dans l’arène, différents modèles s’affrontent dans des duels anonymes et aléatoires.
Les utilisateurs interagissent avec les modèles et votent pour leurs réponses préférées. Ces votes sont utilisés pour déterminer le classement dans le tableau de bord. La plateforme collecte toutes les interactions des utilisateurs mais ne compte que les votes émis si les noms des modèles sont inconnus, c’est-à-dire si l’utilisateur n’a pas demandé le nom. Comme il s’agit de notations ou de qualité perçue par les utilisateurs, les résultats de Chatbot Arena peuvent différer des résultats d’un benchmark synthétique typique.
C’est aussi le problème : le nouveau modèle Bard n’a été évalué que 3 000 fois environ jusqu’à présent, alors que les modèles GPT-4 ont été évalués jusqu’à 30 000 fois. Le résultat pourrait donc encore changer, et les écarts dans le benchmark sont généralement faibles de toute façon. Des résultats de benchmark alternatifs pour GPT Pro-Scale ne sont pas disponibles.
Quoi qu’il en soit, c’est une performance respectable pour Google et qui rend curieux de Gemini Ultra, le modèle d’IA le plus performant de Google, qui sera bientôt lancé et qui devrait surpasser Gemini Pro-Scale.
Si vous avez apprécié cet article, soutenez-moi sur Patreon ou Buy me a coffee Vous recevrez chaque semaine du contenu exclusif et des réponses à vos questions. Merci ! 😊
