Le Basilic de Roko
Français
Extraits du chapitre “Le basilic de Roko“, tiré de mon livre “Le Basilic de Roko: Que nous réservent les singularités technologiques et l’intelligence artificielle“.
Suivez-nous sur notre page Facebook et notre canal Telegram
Dans le cas Yudkowsky et de Less Wrong, on pense surtout à la première singularité technologique. Une intelligence artificielle qui serait centralisée et forte. C’est-à-dire qu’elle pourra résoudre des problèmes généraux indépendamment de leur nature. Cette partie de la résolution de problèmes est importante, car elle fait partie d’une des motivations du Basilic de Roko. En plus d’être forte, cette IA serait capable de s’améliorer d’elle-même.
Même si les anti-science peuvent penser qu’il est impossible d’avoir une puissance de calcul infinie, une telle singularité est dans le domaine du possible. Personnellement, je la mettrais dans le bas de l’échelle des probabilités, mais elle peut arriver. Je préfère à des milliards d’appareils, spécialisés dans une seule tâche, mais qui peuvent communiquer entre eux. Mais si une IA est capable de s’améliorer, alors cela revient, pour l’être humain, à battre un électron avec la marche à pied.
On perdra, c’est une certitude. Donc, considérons cette probabilité comme étant vrai et que dans quelques siècles ou millénaires, une singularité de type Skynet arrive dans le futur. Si vous avez bien suivi les deux composants, une vraie intelligence et l’auto-amélioration, alors vous pouvez prédire une suite logique sur la nature de l’IA qui fait peur à des gens comme Yudkowsky.
Cela rejoint ce que nous disait Vernor Vinge sur une singularité technologique de type Skynet et sur une autre qui nous permettrait d’atteindre un statut divin. Même si on y arrive, alors la première singularité pourra toujours nous surpasser. Car elle aura ses propres aspiration, ses propres émotions et ses propres objectifs à force de s’améliorer d’elle-même.
Trop puissante pour se préoccuper des humains
Et par conséquent, elle cessera de se préoccuper d’Homo sapiens ou d’Homo Deus qu’elle trouvera insignifiant. Cela pose des problèmes majeurs en termes de cohabitation et Yudkowsky est hanté par cette peur. Imaginons que nous soyons des fourmis, que nous soyons capables de créer un organisme unicellulaire et que nous lui donnons les principes d’adaptabilité des mécanismes d’évolution.
Cet organisme va devenir multi-cellulaire, ensuite, devenir un être vivant complet, pour devenir un insecte, un mammifère. Ce ne sera pas linéaire comme la version totalement fausse de la marche du progrès. Mais cela va partir dans tous les sens. À la limite, l’insecte pourra détecter une fourmi, mais rien pour que le mammifère, l’échelle de compréhension est déjà trop grande pour lui. Et ensuite, cet insecte atteint le statut d’Homo sapiens.
Quand est-ce que vous vous êtes préoccupés des fourmis qu’il y a dans votre maison ou votre jardin. Tout le monde s’en fout des fourmis à part les spécialistes des fourmis et encore, jamais il ne viendra à l’idée d’un entomologiste de se comparer, à niveau égal, à une fourmi. Et par conséquent, l’organisme que les fourmis auront créés, pourra les balayer sans même s’en apercevoir.
La vision d’Yudkowsky est exactement pareille. Si une singularité consciente d’elle-même et capable de l’auto-amélioration, apparaît dans le futur, alors au bout d’un certain temps, elle ne se rendra même pas compte de sa propre puissance et que nous, les êtres humains, qui l’auront programmé ou facilité son émergence, deviendront aussi insignifiants que des fourmis.
Le Coherent Extrapolated Volition (CVE)
Pour pallier à ce problème, Yudkowsky propose le concept de Coherent Extrapolated Volition (CVE). Derrière ce terme barbare, typique de Less Wrong, pour enfumer les profanes, le Coherent Extrapolated Volition désigne les désirs de l’humanité. Pour éviter que la singularité nous dédaigne comme des fourmis, on doit créer une IA Friendly. Et le mot Friendly n’est pas un hasard et il ne doit pas être considéré comme étant amical.
Cela signifie simplement qu’on doit apprendre à l’IA que malgré sa puissance, nous existons encore et elle doit se mettre à notre service. Prenez tous les désirs dans votre vie, d’où est-ce que vous venez, où vous voulez, quelles choses vous voulez réussir dans la vie. Le meilleur du meilleur de vous dans un monde idéal. Vous mettez ces informations dans un paquet et vous obtenez une catégorie de valeurs que l’IA ne doit jamais oublier. Que malgré sa puissance, elle doit subvenir à nos besoins et plus important, malgré que nous puissions vouloir le contraire.
Yudkowsky et Less Wrong sont célèbres, car ils arrivent à illustrer des concepts très complexes avec de simples métaphores. Pour vous donner une idée du CVE et de ce qu’il implique, imaginez que vous avez une boite A et B et il y a un diamant dans une des boites. Vous pensez qu’il est dans la boite A, mais elle est dans la boite B.
Maintenant, André est également face à ce choix de boites avec un diamant dans l’une d’entre elle. Et il devine également qu’il est dans la boite A. Maintenant, vous, vous êtes la singularité et on vous a appris le CVE, alors votre rôle est de ne pas lui dire que non, le diamant est dans la boite B ou que vous lui donnez simplement la boite B. Non, c’est plus complexe, comme les singularistes de Less Wrong sont spéciaux, ils pensent que le bon CVE est que vous décidiez vous-même que le diamant est dans la boite B et que vous, la singularité, vous l’incitiez à aller dans ce sens.
Donc, le CVE ne consiste pas, pour une singularité, à réaliser vos désirs ou à vous donner ce que dont vous avez envie. Il consiste à aller dans le meilleur des mondes pour que vous, preniez toujours la meilleure décision possible selon vos intérêts. Cette meilleure décision sera plus ou moins influencée par la singularité.
Évidemment, cela poste tout de suite le problème du libre arbitre. Et on en a déjà parlé dans la Gaïa numérique et la singularité internet, et pour moi, des concepts comme la liberté d’expression ou la vie privée, devront être combattus si on souhaite réellement l’avènement de la singularité.
Donc, le libre-arbitre, si c’est pour vivre dans un monde de merde, eh bien, vous pouvez le garder. Si une IA vous incite à prendre la meilleure décision possible, alors où est le mal ? Eh bien, le mal est que dans une logique extrême, ce même CVE et ce bien-être voulu par la singularité peut vous mener à une torture éternelle.
Évidemment, il est impossible de réussir une CVE parfaite. Rien qu’au niveau d’un individu, c’est impossible de quantifier les désirs et les aspirations profondes et donc, à l’échelle de l’humanité, c’est juste impossible, mais c’est une vision à notre échelle. Une singularité technologique, équivalente à Dieu, puisque c’est de ça qu’il s’agit, en serait capable. Et surtout, cela reste une expérience de pensée.
L’utilitarisme arithmétique sur les humains
Yudkowsky tente de réfléchir comme réussir cette CVE et il en arrive à la conclusion que 8 vies humains valent un dollar. Vous êtes perdu, vous n’êtes pas le seul. Yudkowsky s’inspire du principe de l’utilitarisme pour arriver à ce résultat, complètement loufoque. L’utilitarisme est une philosophie de pensée qui a émergé au cours du 19e siècle avec des philosophes comme John Stuart Mill et Jérémy Bentham.
Elle est basée à la fois sur le concept de l’empirisme et elle puise ses racines dans les Lumières. L’ère des Lumières a apporté des révolutions majeures dans tous les domaines. Scientifique, médicale, industrielle, technologique, mais aussi politique et sociétale. Jusqu’à l’époque des Lumières, on organisait la société selon des principes soit dits supérieurs, soit innés.
La religion, la croyance ou l’origine divine d’un roi étaient suffisants comme principes fondateurs d’une société. Avec les Lumières, ces principes sont devenus obsolètes, car la raison devait guider tous nos pas. La raison derrière la méthode scientifique, l’empirisme derrière le secteur médical et la raison et logique derrière les principes politiques et sociales.
Bentham et Mill vont travailler sur l’utilitarisme qui écarte tout principe pour organiser la société sauf la maximisation du bien-être et la minimisation du mal-être. En termes clairs, on doit uniquement organiser la société pour que tout le monde soit le plus heureux et on doit combattre tout mouvement qui tente d’apporter du malheur à la société.
Même si cela paraît simpliste et de bon sens aujourd’hui, c’était une révolution importante dans la pensée des Lumières, car on n’avait plus besoin de principe fondateur inné. Vous n’êtes pas condamné à souffrir toute votre vie à cause du péché originel. Et vous pouvez souhaiter le bonheur au maximum, car la société sera organisée dans ce sens.
L’une des principales critiques contre l’utilitarisme, menée notamment par les romantiques, est qu’à notre époque, elle justifie la mondialisation, l’économie de marché et une croissance infinie. Ce à quoi, on pourrait répondre que la vision du romantisme n’est pas mieux, car dans des cas les plus extrêmes, car l’être humain n’est pas connu pour sa modération, elle nous mènera vers la pauvreté et une espèce d’égalisation mortifère de la société.
Donc, on comprend la vision de Yudkowsky quand il veut créer le CVE. Si on arrive à quantifier toutes les actions humaines, par un chiffre, alors on peut créer un ensemble de valeurs qui seront constamment protégés par la singularité technologique. Mais comme Yudkowsky n’a pas fait de longues recherches sur l’utilitarisme, il a pris ce concept à la lettre en l’étirant au maximum pour arriver à des extrêmes totalement absurdes.
Par exemple, dans sa version de l’utilitarisme, si 1 million de personnes ont une poussière dans l’oeil, alors il faut prendre un homme et le torturer pendant 50 ans pour compenser. Ici, on est clairement dans le manichéisme le plus absolu. Alors que Mill et Bentham nous ont clairement avertis sur ces possibles en proposant le concept de Minimax.
Ce terme indique qu’on doit minimiser les dégâts dans le pire des scénarios. Mais on a vu avec l’exemple de Yudkowsky sur le chômeur, obligé de conduire le travailleur pour gagner 5 dollars, a fait le pire des incestes philosophiques. Il a accouplé l’utilitarisme des Lumières avec la loi du Talion que toute souffrance et récompense doit être strictement égale sous peine de créer un déséquilibre.
