OpenAI nous laisse “entrevoir” la puissance de GPT-4

OpenAI s’apprête à lancer un nouveau service pour les entreprises, appelé Foundry, destiné aux clients les plus innovants ayant des charges de travail plus importantes et nécessitant des inférences à grande échelle. Foundry offrira aux entreprises un contrôle total sur la configuration des modèles et la profilisation des performances.

Cette information provient de captures d’écran partagées par un utilisateur de Twitter dans le cadre du programme d’accès anticipé de Foundry. Foundry promet une allocation statique de capacité de calcul ainsi qu’un accès à différents modèles et outils que OpenAI utilise pour développer et optimiser ses propres modèles d’IA.

Un bond spectaculaire de performance pour GPT-4

Les prix varient de 26 000 à 156 000 dollars par mois, selon le modèle et la durée du contrat. Le document présenté montre trois modèles : GPT-3.5 Turbo et deux variantes de DV. Le modèle GPT-3.5 Turbo correspond probablement au modèle Turbo de ChatGPT, tandis que le nom DV pourrait représenter Davinci, qui est déjà le nom de la plus grande variante de GPT-3 et GPT-3.5.

Ces deux modèles DV sont disponibles en deux versions : l’une avec environ 8 000 tokens de contexte – soit deux fois la longueur de ChatGPT – et l’autre avec 32 000 tokens ce qui est colossal. Si ces chiffres sont confirmés, ce serait un bond spectaculaire et pourrait indiquer que c’est GPT-4 ou un successeur direct. La longueur de contexte détermine la quantité de texte qu’un modèle Transformer comme GPT-3 peut traiter en entrée, dans le cas de ChatGPT, le contenu de la conversation en cours.

GPT-4 pourrait analyser 30 000 mots en un seul coup

Le plus grand modèle DV aurait ainsi une longueur de contexte huit fois supérieure à celle des modèles GPT actuels d’OpenAI et pourrait probablement traiter plus de 30 000 mots ou 60 pages de contexte. Un tel modèle pourrait lire des articles scientifiques entiers, résumer des études ou effectuer des tâches de programmation bien plus importantes. Les cas d’utilisation qui en découleraient pourraient rendre ChatGPT obsolète.

Plus de contexte pourrait également permettre de nouvelles formes d’ingénierie de prompts. Par exemple, à la fin de 2022, des chercheurs de l’Université de Montréal et de Google Research ont présenté le “prompt algorithmique”, une méthode qui permet aux grands modèles de langage d’obtenir des taux d’erreur jusqu’à dix fois inférieurs lorsqu’ils résolvent des tâches mathématiques et logiques.

L’équipe a développé des prompts détaillés décrivant des algorithmes pour résoudre les tâches en question. Dans leur article, ils spéculent qu’avec des longueurs de contexte plus longues, des prompts algorithmiques encore plus étendus sont possibles, ce qui pourrait améliorer considérablement les performances en raisonnement logique, par exemple.

Jusqu’à présent, OpenAI n’a pas confirmé ces plans, mais si les informations divulguées s’avèrent exactes, elles pourraient avoir des implications importantes pour l’avenir de l’intelligence artificielle.

En effet, si les modèles GPT-4 et DV sont aussi puissants que le suggère la fuite, ils pourraient permettre de développer de nouvelles applications pour les modèles de langage. Par exemple, les modèles plus grands pourraient permettre des tâches plus complexes de programmation et d’analyse de données, ainsi que des analyses plus poussées de textes scientifiques.

Dans tous les cas, l’annonce de Foundry et la fuite potentielle d’informations sur GPT-4 montrent que l’industrie de l’intelligence artificielle continue de progresser rapidement, avec des développements majeurs à venir dans les mois et les années à venir.

---

Mes livres

Le Basilic de Roko	Mon parcours de rédacteur web	Science corrompue et servile	Nous, Tueurs en série