1000 milliards de paramètres pour GPT-4

Un rapport révèle que GPT-4 serait six fois plus grand que GPT-3, tandis que la sortie d’Elon Musk d’OpenAI a ouvert la voie à Microsoft pour prendre les rênes. Selon le site Semafor, qui cite huit sources anonymes familières avec le sujet, le nouveau modèle de langage GPT-4 d’OpenAI posséderait 1000 milliards paramètres, tandis que son prédécesseur, GPT-3, n’en avait “que” 175 milliards.

Semafor a précédemment révélé l’investissement de 10 milliards de dollars de Microsoft dans OpenAI et l’intégration de GPT-4 dans Bing en janvier et février, respectivement, avant l’annonce officielle.

Le nombre de paramètres dans un modèle de langage est un indicateur de sa capacité à reconnaître des motifs et des relations complexes dans les données et à développer de nouvelles capacités émergentes. Les paramètres déterminent la relation entre l’entrée et la sortie par le biais de poids qui sont appris pendant l’entraînement.

Outre la taille du modèle, la qualité des données et la quantité d’entraînement sont essentielles pour la performance de l’IA. Par exemple, le projet Deepmind Chinchilla a montré qu’un système d’IA avec seulement 70 milliards de paramètres, mais un entraînement de données plus étendu, peut surpasser des systèmes beaucoup plus grands comme GPT-3.

Lorsqu’elle a annoncé GPT-4, OpenAI s’est abstenue de divulguer le nombre de paramètres et les données d’entraînement utilisées, ce qui a suscité des critiques. OpenAI a cité “l’environnement compétitif” comme raison de la confidentialité.

Le départ Musk a facilité la poigne de Microsoft sur OpenAI

Selon Semafor, le départ d’Elon Musk d’OpenAI en 2018 a ouvert la voie à Microsoft. Musk était l’un des co-fondateurs d’OpenAI en 2015 et l’un de ses soutiens. Il aurait averti Sam Altman, également co-fondateur et CEO d’OpenAI, en 2018 que la société était en train de prendre du retard par rapport au développement d’IA de Google. Musk avait l’intention de prendre le contrôle d’OpenAI et de le diriger lui-même, mais Altman et les autres co-fondateurs d’OpenAI ont refusé.

Musk a ensuite démissionné d’OpenAI en février 2018, annulant un don majeur prévu. Officiellement, OpenAI a déclaré à l’époque que le départ de Musk du conseil d’administration avait à voir avec l’évitement de conflits d’intérêts dans son rôle de CEO de Tesla, qui mène également des recherches sur l’IA. Andrej Karpathy, le développeur du système de conduite autonome de Tesla, a quitté OpenAI pour Tesla, mais est depuis retourné chez OpenAI.

On dit que Musk n’a plus effectué de paiements depuis son départ d’OpenAI. Au total, il a contribué à hauteur de 100 millions de dollars sur un plan de financement d’un milliard de dollars. Sam Altman, qui ne possèderait aucune participation dans OpenAI, est devenu président d’OpenAI après le départ de Musk.

La découverte des réseaux Transformer de Google en 2017 a créé de nouvelles opportunités dans le développement de l’IA, mais elle a également augmenté davantage le coût de l’entraînement de l’IA. Pour suivre le rythme, OpenAI, à l’origine une start-up à but non lucratif, a annoncé une nouvelle structure à but lucratif en mars 2019. L’investissement initial de Microsoft d’1 milliard de dollars a suivi six mois plus tard.

Après le succès fulgurant de ChatGPT, Musk aurait révoqué l’accès d’OpenAI aux données de Twitter, que cette dernière avait contractuellement sécurisé avant l’arrivée de Musk sur Twitter. Musk a publiquement critiqué l’évolution d’OpenAI, passant d’une organisation “à but non lucratif” en open-source à une entreprise fermée, contrôlée par Microsoft et axée sur la maximisation des profits.

I’m still confused as to how a non-profit to which I donated ~$100M somehow became a $30B market cap for-profit. If this is legal, why doesn’t everyone do it?

— Elon Musk (@elonmusk) March 15, 2023

On dit qu’Elon Musk travaille sur une alternative à ChatGPT. Il a soulevé des préoccupations spécifiques concernant des opinions sociales ou politiques biaisées possibles dans ChatGPT, qui est fortement restreint par OpenAI. OpenAI a annoncé que dans le futur, des modèles de ChatGPT personnalisables pourraient représenter une plus grande variété de perspectives.

---

Mes livres

Le Basilic de Roko	Mon parcours de rédacteur web	Science corrompue et servile	Nous, Tueurs en série