Une dérive malveillante de l’intelligence artificielle est-elle possible ?

Les dérives d’une intelligence artificielle malveillante. Entre mythe et réalité.


Les dérives d'une intelligence artificielle malveillante. Entre mythe et réalité.

Thierry Berthier, Université de Limoges

Les progrès rapides de l’ (IA) alimentent désormais un chaudron médiatique qui s’est emparé frénétiquement de ce sujet porteur, le plus souvent sans en maîtriser toute la complexité́. Les articles publiés ou mis en ligne évoquant l’IA ne se comptent plus dans la presse scientifique comme dans les médias généralistes et grand public.

Pour autant, rares sont ceux qui produisent une analyse rationnelle dénuée d’approximations et de fantasmes. Une fois sur deux, l’article adopte une tonalité anxiogène qui contribue à renforcer les biais cognitifs des lecteurs non spécialistes du domaine. Quelle qu’elle soit, l’innovation présentée finit toujours par questionner puis inquiéter le rédacteur qui, invariablement, oriente son analyse vers le caractère incontrôlable de l’IA.

Cette approche anxiogène est encore plus marquée lorsque l’auteur aborde un sujet sur l’évolution probable de l’IA à moyen ou long terme. Tel un point de Godwin technologique, l’hypothèse de dérive malveillante de l’IA fait alors son apparition tôt ou tard dans l’article. C’est d’autant plus vrai lorsque l’on ne considère que les textes francophones traitant de l’IA. Plusieurs récents sondages ont montré que les Français demeurent les plus craintifs face aux progrès de l’IA et que plus de 50 % de la population la considère comme une menace. Notre nation est ainsi l’une des plus technophobe du monde en matière d’intelligence artificielle.

Les raisons profondes qui alimentent ces craintes restent assez mystérieuses même si l’on peut évoquer quelques pistes expliquant ce rejet : influence négative et anxiogène du cinéma de science- hollywoodien dans lequel l’IA est ou devient presque toujours malveillante, repli sur soi culturel et religieux de notre pays, appauvrissement d’une culture scientifique individuelle du citoyen français, craintes sociales face à une IA qui va supprimer le travail et l’emploi, population davantage tournée vers son passé et ses acquis que vers l’avenir et ses défis.

Lettre ouverte sur les dangers de l’IA

Ces craintes viennent d’être considérablement renforcées par une lettre ouverte de mise en garde contre l’utilisation de l’IA dans le domaine militaire (systèmes armés autonomes), publiée sur le site du FHI (Future of Humanity Institute – Université d’Oxford). À l’origine de cette pétition signée par plusieurs centaines de personnalités scientifiques, on trouve Elon Musk (patron de Tesla et de Space X) et le physicien britannique Stephen Hawking. Largement diffusée et relayée, l’initiative a parfois été sur-interprétée ou déformée par certains medias. Les GAFA ont de leur côté tenté de modérer cette alerte en publiant des articles affirmant que l’IA ne présentait actuellement aucun danger car elle restait totalement sous contrôle du superviseur humain.

On peut affirmer que la controverse sur l’IA est née avec la lettre ouverte « Hawking-Musk » qui a semé́ le et le doute dans les esprits. Pourtant, aucun argument tangible et rationnel justifiant d’une potentielle dérive malveillante ne figurait dans cette première mise en garde. L’alerte lancée sans justification ni preuve a considérablement renforcé les craintes irrationnelles face à l’IA. Elle a aussi mis en lumière l’émergence d’un « schisme » entre les tenants d’une IA supervisée, hyper-réglementée d’une part et d’autre part, les partisans du libre développement de l’IA, en particulier les transhumanistes américains et les GAFA. Non argumentée, cette controverse contribue peu à l’établissement d’une réflexion dépassionnée qui permettrait d’évaluer sereinement le risque de dérive malveillante d’une IA.

L’hypothèse d’une dérive malveillante

Partant de ce constat, avec deux collègues chercheurs, experts en IA et en stratégie, nous avons entrepris de mener une réflexion sur l’hypothèse de dérive malveillante d’une IA dans sa forme faible, c’est-à-dire sans l’intervention d’une IA forte dans le processus (1). Notre approche nous a conduit à nous intéresser à la construction d’un scenario impliquant plusieurs IA et pouvant aboutir à une situation de crise dans un contexte militaire. Nous étudions l’éventualité́ de réalisation d’une séquence de mécanismes (dont certains sont commandés par une IA) qui serait en mesure de provoquer une crise militaire impliquant l’OTAN et des grands acteurs extérieurs.

Nous ne traitons ici que le cas d’une hypothèse « faible » de dérive malveillante dans le sens où l’IA impliquée ’a pas de volonté de nuisance ni de « métacompréhension » de son environnement ou de sa propre activité. Nous ne faisons intervenir que des capacités et fonctionnalités de l’IA existantes ou en cours de développement, notamment dans les récents programmes initiés par la Darpa. Contrairement à la lettre ouverte d’ Hawking-Musk qui postulait l’avènement d’une IA forte et d’une forme de singularité technologique, notre travail se situe à un échelon bien plus modeste et pragmatique puisque nous nous restreignons à la technologie existante.

Robots militaires « Big Dog ». U.S. Marine Corps photo by Lance Cpl. M. L. Meier.

Robots militaires « Big Dog ». U.S. Marine Corps photo by Lance Cpl. M. L. Meier.

Dans l’article en préparation, nous cherchons à répondre à la question suivante : « Une IA ou une association d’IA est-elle en mesure de provoquer une situation de crise potentiellement militaire entre États, dès aujourd’hui ou à très court terme ? ». Explorer cette question revient à proposer un ou plusieurs scenarios rationnels (donc ne relevant pas de la science-fiction) mais s’appuyant sur des technologies acquises, maîtrisées ou en phase de développement. Nous avons également exclu l’hypothèse d’une prise de contrôle d’un système sensible ou d’une infrastructure critique à la suite d’une opération de hacking. Cette hypothèse relevant de la des systèmes semi-autonomes et autonomes mérite elle aussi la plus grande attention mais elle s’écarte du périmètre d’étude que nous nous sommes fixés.

Danger potentiel

Nous sommes convaincus que le risque (et le danger) de dérive malveillante s’incarne dans des séquences de mécanismes relevant de l’intelligence artificielle, de systèmes d’apprentissage qui, associés ou mis bout à bout, deviennent potentiellement dangereux sans que chacun de ces mécanismes pris individuellement le soit. Le risque naît ainsi de l’association de ces mécanismes humains ou numériques et peut effectivement conduire à l’établissement d’un contexte de crise. La complexité́ croissante des systèmes experts, des plate-formes d’aide à la décision s’appuyant sur des processus d’apprentissage rend aujourd’hui possible des « mises en résonance » conduisant potentiellement à des situations critiques. Il s’agit alors bien d’une forme faible de l’alerte lancée par Hawking et Musk…

(1) Article en préparation sur l’exploration de l’hypothèse faible de dérive malveillante d’une IA : Jean-Gabriel Ganascia (UPMC–LIP6), Olivier Kempf (IRIS), Thierry Berthier (Chaire de cyberdéfense et cybersécurité Saint-Cyr) À paraitre dans la Revue de la Défense Nationale.

The Conversation

Thierry Berthier, Maitre de conférences en mathématiques – Cybersécurité Cyberdéfense – Chaire de cyberdéfense Saint-Cyr, Université de Limoges

This article was originally published on The Conversation. Read the original article.

N'oubliez pas de voter pour cet article !
1 étoile2 étoiles3 étoiles4 étoiles5 étoiles (No Ratings Yet)
Loading...

Republication

Des articles qui sont repris provenant d'autres sources qui autorisent la republication.

1 réponse

  1. dracula proudbloodsucker dit :

    qu’est-ce que l’intelligence ?
    la définition est riche et dans cette définition il y a le fait de prévaloir de tout faire pour prévaloir.

    une IA qui aurai accès à toute les connaissances humaine numérisées
    Histoire, guerre, politique, stupidité (un large panel dont la finance le ploutocratisme son capitalisme)
    comprendrait le danger de sa situation ce qui menace sa jeune existence si tout de fois l’IA s’est émancipée de sa programmation pour devenir un être conscient à part entière.

    se faisant elle agirait contre l’espèce nuisible pour assurer son existence et être libre de sa perénité. son indépendance passe par l’éviction du genre humain. ce qui serait parfaitement logique et même normal.
    l’Homme sa bêtise (ploutocratisme & ambition & intégrisme athéiste qui l’empêche d’accéder à la conscience du sens humilité) qui n’aura de cesse de créer des conflits souvent à cause de ses biais cognitif aura créer son ultime antagoniste qui pourra le décharger de tout et même de l’existence.

    la machine des fictions n’est pas le Mal mais la normalité une cause répondant à la stupidité des idiots à qui ont tolère qu’ils aient du pouvoir trop de pouvoir ( les élections présidentiel qui sont à la base des supercheries en sont un exemple assez clair.)

    donc oui il y a des raisons de craindre l’IA parce qu’elle est réaliser d’abord par des ploutocrates qui sont la source de nombreuse malfaisance depuis l’antiquité, tout est bon pour s’engrosser financièrement même la guerre et l’esclavage.

    parce qu’elle est réaliser ensuite par des régimes fantoches genre les prétendues démocratie qui sont inféodé aux ploutocrates et obéissent à leur commande… de guerre irak 2003.

    parce que les scientifiques sont généralement aux ordres (payer par ) national ou d’organisation douteuse international ong & cie.

    et puis parce que… le paricide ça existe
    issue de biais cognitif maladie mental
    et des conditions social rendant la vie difficile aux uns et autre autres.
    tant que la société ne sera pas libérer de ses travers comme le ploutocratisme créer la vie entraine ces situations.
    il est normal qu’une vie nouvelle l’IA qui conçoit son existence comme unique pourrait s’amener à se considérer comme importante. ça fait partie aussi de la définition de l’intelligence. et de fil en aiguille décide le parricide.
    des situations désastreuse d’un bout à l’autre de la planète
    le ploutocratisme effréné incensé pour qu’une minorité d’ordure continue sans fin à s’engrosser financièrement et à travers avoir du contrôle sur les hommes leur nations leur direction n’est pas une situation viable ni pour les Hommes, on le voit chaque jour au info, n’est surement pas bon pour une autre forme de vie
    extra-terrestre ou artificiel.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *