OpenAI se prépare à fabriquer ses propres puces pour l’IA, comme Google et Amazon

OpenAI, la société à l’origine du célèbre ChatGPT, étudie la possibilité de fabriquer elle-même des puces de traitement pour l’intelligence artificielle, face à la pénurie mondiale de ces composants très demandés.

Selon des sources proches du dossier, OpenAI explore activement différentes options, notamment l’évaluation d’une entreprise non divulguée en vue d’une éventuelle acquisition pour renforcer ses ambitions dans le domaine de la fabrication de puces pour l’IA. La pénurie de puces, un élément fondamental dans la technologie de l’IA, a incité OpenAI à envisager diverses stratégies. Ces options comprennent la production interne de puces, le renforcement des liens avec son principal fournisseur de puces NVIDIA, et la diversification de ses fournisseurs de puces.

Plus tôt cette année, le PDG d’OpenAI, Sam Altman, avait exprimé ses inquiétudes concernant la rareté des puces, qui entraîne des retards dans les projets de la société. Dans un billet de blog supprimé depuis, le PDG de Humanloop, Raza Habib, spécialiste de l’IA, avait écrit sur son expérience lors d’une rencontre avec Altman :

Un thème récurrent qui est apparu tout au long de la discussion était que OpenAI est actuellement extrêmement limité par les GPU et que cela retarde beaucoup de leurs plans à court terme. La principale plainte des clients portait sur la fiabilité et la vitesse de l’API.

Sam a reconnu leur préoccupation et a expliqué que la plupart du problème était due à la pénurie de GPU. Le contexte plus long de 32k ne peut pas encore être déployé pour plus de personnes. OpenAI n’a pas encore surmonté le problème du passage à l’échelle O(n^2) de l’attention et il semblait plausible qu’ils disposent bientôt (cette année) de fenêtres de contexte allant de 100k à 1M de jetons, mais tout ce qui est plus grand nécessiterait une percée en matière de recherche.

L’API de finetuning est également actuellement limitée par la disponibilité des GPU. Ils n’utilisent pas encore des méthodes efficaces comme Adapters ou LoRa et le finetuning est donc très gourmand en calculs à exécuter et à gérer.

Un meilleur support pour le finetuning viendra à l’avenir. Ils pourraient même héberger un marché de modèles contribués par la communauté. L’offre de capacité dédiée est limitée par la disponibilité des GPU.

Si OpenAI poursuit son projet de fabriquer ses propres puces, elle rejoindra les rangs des géants du secteur comme Google et Amazon qui ont déjà opté pour une production interne de puces. Cette démarche pourrait potentiellement atténuer la dépendance d’OpenAI vis-à-vis des fournisseurs externes, en lui permettant de répondre à la demande croissante de puces spécialisées pour l’IA.

Depuis le lancement public du ChatGPT en novembre dernier, la demande de puces spécialisées pour l’IA a explosé, entraînant une hausse des cours de l’action NVIDIA alors que les entreprises se précipitent pour se procurer le matériel convoité. OpenAI n’a pas pris de décision finale concernant l’acquisition ou la production interne de puces, et les discussions se poursuivent pour résoudre le problème urgent de la pénurie de puces et soutenir les initiatives d’IA de la société.