Google présente AlphaCode 2, l’IA qui va mettre les développeurs au chômage

AlphaCode 2 est le successeur d’AlphaCode, un modèle d’IA qui écrit du code, dévoilé par Deepmind en février 2022. AlphaCode était basé sur un modèle encodeur-décodeur basé sur les Transformers, et avait été entraîné avec 715 gigaoctets d’échantillons de code provenant de GitHub. Après son entraînement, AlphaCode avait résolu 34,2 % de tous les problèmes du jeu de données CodeContests et avait obtenu un score moyen dans le top 54,3 % dans dix compétitions Codeforce. Cela signifie qu’AlphaCode avait surpassé près de 46 % des participants humains.

AlphaCode 2 montre une amélioration significative par rapport à son prédécesseur, en surpassant 85 % de la compétition humaine. Google Deepmind attribue cette augmentation de performance à l’utilisation du modèle Gemini Pro, un modèle décodeur, comme base pour tous les composants d’AlphaCode 2.

AlphaCode 2 utilise des modèles Gemini Pro et un échantillonnage massif

AlphaCode 2 se compose de plusieurs composants, dont une famille de modèles de politique pour générer des échantillons de code, un mécanisme d’échantillonnage pour générer un grand nombre d’échantillons de code, un mécanisme de filtrage pour éliminer les échantillons de code non conformes, un algorithme de regroupement pour regrouper les échantillons de code similaires, et un modèle de notation pour sélectionner les meilleurs candidats parmi les plus grands groupes d’échantillons de code.

Le système utilise ensuite un échantillonnage massif, générant jusqu’à un million d’exemples de code par problème. L’échantillonnage est fait de manière uniforme sur la famille de modèles personnalisés, avec seulement des exemples en C++ utilisés pour AlphaCode 2.

L’équipe a retesté AlphaCode 2 sur la plateforme Codeforces. Un total de 77 problèmes provenant de 12 compétitions récentes avec plus de 8 000 participants ont été évalués. AlphaCode 2 a résolu 43 % de ces problèmes de compétition, presque deux fois plus que l’AlphaCode original. Dans les deux compétitions les plus performantes, AlphaCode 2 a surpassé 99,5 % des participants. L’équipe pense que la performance peut être encore améliorée avec Gemini Ultra.

Google Deepmind voit l’avenir dans la collaboration homme-machine

Malgré les résultats impressionnants d’AlphaCode 2, il reste encore beaucoup de travail à faire pour développer des systèmes qui peuvent correspondre de manière fiable à la performance des meilleurs programmeurs humains. Le système nécessite également beaucoup d’essais et d’erreurs et est trop coûteux pour être utilisé à grande échelle.

Cependant, AlphaCode 2 ouvre la possibilité d’une interaction positive entre le système et les programmeurs humains, qui peuvent spécifier des propriétés de filtrage supplémentaires. Dans cette combinaison d’AlphaCode 2 et de programmeurs humains, le système atteint même des niveaux supérieurs à 90 %. Les développeurs de Google DeepMind espèrent que ce genre de programmation interactive sera l’avenir de la programmation, où les programmeurs utilisent des modèles d’IA comme des outils collaboratifs pour analyser les problèmes, suggérer des conceptions de code et aider à la mise en œuvre.

---

Mes livres

Le Basilic de Roko	Mon parcours de rédacteur web	Science corrompue et servile	Nous, Tueurs en série