Gemini Pro et Ultra : les IA de Google qui veulent battre GPT-4

Google vient de dévoiler ses nouveaux modèles d’intelligence artificielle Gemini Pro et Gemini Ultra, qui promettent de surpasser le GPT-4 d’OpenAI dans plusieurs domaines. Gemini Pro est déjà disponible dans le chatbot Bard, tandis que Gemini Ultra sortira début 2024.

Gemini Pro est le concurrent direct de GPT-3.5, le modèle d’IA d’OpenAI lancé il y a un an. Selon Google, Gemini Pro le dépasse dans six des huit tests de performance. Une version plus compacte, Nano, est optimisée pour le développement d’applications Android. Les modèles Nano sont dérivés des modèles Gemini plus grands.

Les modèles Pro et Nano sont accessibles via le Google Cloud à partir du 13 décembre, et Google affirme qu’ils fonctionnent sur ses propres puces d’IA TPU. Google ne précise pas le nombre de paramètres des modèles plus grands. Comme les autres modèles de langage à grande échelle, Google reconnaît que Gemini a encore du mal à éviter les hallucinations.

La version la plus grande de Gemini, Ultra, devrait dépasser GPT-4 sur les tests populaires de compréhension du texte et de l’image, et de génération de code. Ultra sera lancé début 2024 et sera également intégré à une version “avancée” du chatbot Bard (voir ci-dessous).

Les résultats de Google doivent être confirmés par des testeurs indépendants et tiers. Plus de résultats sont disponibles sur le site de Deepmind.

L’évaluation sur un large éventail de tests montre que notre modèle Gemini Ultra le plus performant avance l’état de l’art dans 30 des 32 tests – notamment en étant le premier modèle à atteindre la performance d’un expert humain sur le test d’examen bien étudié MMLU, et en améliorant l’état de l’art dans chacun des 20 tests multimodaux que nous avons examinés – Google Deepmind, Rapport technique

Comme prévu, Gemini est multimodal, c’est-à-dire qu’il peut traiter du texte, des images, de l’audio, de la vidéo et du code. Gemini ne propose pas encore de génération d’images, mais selon la documentation technique, cette fonctionnalité existe et sera probablement introduite progressivement. Gemini peut être sollicité avec des images, du texte ou une combinaison des deux.

Google Gemini peut également générer des images à partir de texte, d’images ou des deux. | Image : Google
La vidéo suivante démontre les capacités multimodales de Gemini.

Essayez Gemini Pro dans Google Bard

Google intègre Gemini à Bard en deux phases. À partir d’aujourd’hui, Bard utilisera une version personnalisée de Gemini Pro anglais qui offre des fonctionnalités améliorées pour la compréhension, le résumé, la planification et le codage. Gemini Pro anglais est disponible dans plus de 170 pays et territoires, selon Google.

Selon Google, Gemini Pro surpasse GPT-3.5 dans six des huit tests, dont Massive Multitask Language Understanding (MMLU) et GSM8K, qui mesure les compétences de résolution de problèmes mathématiques de niveau école primaire. Dans des tests à l’aveugle réalisés par des tiers indépendants, Bard a été évalué comme le chatbot gratuit préféré par rapport à ChatGPT, selon Google.

La deuxième phase de mise à niveau de Bard introduira Bard Advanced début de l’année prochaine, donnant aux utilisateurs accès aux modèles et aux fonctionnalités les plus avancés, à commencer par Gemini Ultra. On ne sait pas si Google fera payer pour cela, comme OpenAI le fait pour ChatGPT Plus.

Au cours de l’année prochaine, les modèles Gemini seront déployés sur d’autres produits Google tels que la recherche, les publicités et l’application de productivité Workspace.

Le modèle Nano pour les smartphones sera utilisé dans le Pixel 8 Pro. Par exemple, il créera des résumés des mémos vocaux.

Malgré le fait que Google semble faire des progrès, ses modèles, notamment Bard reste largement en dessous de ChatGPT et de Bing Chat dans une utilisation quotidienne, typique pour générer du contenu. Mon classement n’a pas changé, en numéro 1, je mettrais toujours Bing Chat qui répond juste à la plupart des requêtes, en second, je mettrais ChatGPT qui est vraiment une roue de secours, mais qui n’est plus pertinent face à Bing Chat et enfin, Bard.

En fait, dans tous les tests que j’ai effectué, Bard a donné des réponses inférieures à Bing Chat. Le temps est crucial à cette course technologique et si Google ne veut pas rester sur le carreau, il doit publier ses modèles les plus performants. Ne pas faire une technique de salami où on donne des modèles charcutés et discount. Sinon, les deux autres vont accélérer leur avance en sachant qu’il y a d’autres concurrents, proposant des IA spécialisés dans une seule tâche, qui seront plus pertinentes à l’avenir.

---

Mes livres

Le Basilic de Roko	Mon parcours de rédacteur web	Science corrompue et servile	Nous, Tueurs en série