Vrai ou faux texte ? Nous pouvons apprendre à repérer la différence —

Les craintes concernant l’intégrité du marché du travail – de l’économie créative à la classe managériale – se sont propagées à la classe alors que les éducateurs repensent l’apprentissage à la suite de ChatGPT.

Pourtant, alors que les appréhensions concernant l’emploi et les écoles dominent les gros titres, la vérité est que les effets des modèles linguistiques à grande échelle tels que ChatGPT toucheront pratiquement tous les coins de notre vie. Ces nouveaux outils soulèvent des inquiétudes à l’échelle de la société quant au rôle de l’intelligence artificielle dans le renforcement des préjugés sociaux, la fraude et le vol d’identité, la génération de fausses nouvelles, la diffusion de fausses informations, etc.

Une équipe de chercheurs de l’École d’ingénierie et de sciences appliquées de l’Université de Pennsylvanie cherche à donner aux utilisateurs de technologies les moyens d’atténuer ces risques. Dans un article évalué par des pairs présenté lors de la réunion de février 2023 de l’Association pour l’avancement de l’intelligence artificielle, les auteurs démontrent que les gens peuvent apprendre à faire la différence entre un texte généré par une machine et un texte écrit par un humain.

Avant de choisir une recette, de partager un article ou de fournir les détails de votre carte de crédit, il est important de savoir que vous pouvez prendre certaines mesures pour discerner la fiabilité de votre source.

L’étude, dirigée par Chris Callison-Burch, professeur agrégé au Département d’informatique et des sciences de l’information (CIS), avec Liam Dugan et Daphne Ippolito, Ph.D. étudiants en CIS, fournit la preuve que le texte généré par l’IA est détectable.

“Nous avons montré que les gens peuvent s’entraîner à reconnaître des textes générés par des machines”, déclare Callison-Burch. “Les gens commencent avec un certain ensemble d’hypothèses sur le type d’erreurs qu’une machine ferait, mais ces hypothèses ne sont pas nécessairement correctes. Au fil du temps, avec suffisamment d’exemples et d’instructions explicites, nous pouvons apprendre à détecter les types d’erreurs qui les machines fabriquent actuellement.”

« Aujourd’hui, l’IA est étonnamment douée pour produire des textes très fluides et très grammaticaux », ajoute Dugan. “Mais il fait des erreurs. Nous prouvons que les machines font des types d’erreurs distincts – des erreurs de bon sens, des erreurs de pertinence, des erreurs de raisonnement et des erreurs logiques, par exemple – que nous pouvons apprendre à repérer.”

L’étude utilise des données collectées à l’aide de Real or Fake Text?, un jeu de formation original basé sur le Web.

Ce jeu de formation est remarquable pour transformer la méthode expérimentale standard pour les études de détection en une recréation plus précise de la façon dont les gens utilisent l’IA pour générer du texte.

Dans les méthodes standard, on demande aux participants d’indiquer par oui ou par non si une machine a produit un texte donné. Cette tâche consiste simplement à classer un texte comme vrai ou faux et les réponses sont notées comme correctes ou incorrectes.

Le modèle de Penn affine considérablement l’étude de détection standard en une tâche de formation efficace en montrant des exemples qui commencent tous comme écrits par l’homme. Chaque exemple se transforme ensuite en texte généré, demandant aux participants de marquer où ils pensent que cette transition commence. Les stagiaires identifient et décrivent les caractéristiques du texte qui indiquent une erreur et reçoivent une note.

Les résultats de l’étude montrent que les participants ont obtenu des résultats nettement meilleurs que le hasard, ce qui prouve que le texte créé par l’IA est, dans une certaine mesure, détectable.

“Notre méthode non seulement gamifie la tâche, la rendant plus engageante, mais elle fournit également un contexte plus réaliste pour la formation”, explique Dugan. “Les textes générés, comme ceux produits par ChatGPT, commencent par des invites fournies par l’homme.”

L’étude ne parle pas seulement de l’intelligence artificielle aujourd’hui, mais dessine également un avenir rassurant, voire passionnant, pour notre relation à cette technologie.

“Il y a cinq ans”, explique Dugan, “les modèles ne pouvaient pas rester sur le sujet ou produire une phrase fluide. Aujourd’hui, ils font rarement une erreur de grammaire. Notre étude identifie le type d’erreurs qui caractérisent les chatbots IA, mais il est important de garder à l’esprit Gardez à l’esprit que ces erreurs ont évolué et continueront d’évoluer. Le changement dont il faut s’inquiéter n’est pas que le texte écrit par l’IA est indétectable. C’est que les gens devront continuer à se former pour reconnaître la différence et travailler avec un logiciel de détection en complément. “

“Les gens s’inquiètent de l’IA pour des raisons valables”, déclare Callison-Burch. “Notre étude donne des éléments de preuve pour apaiser ces angoisses. Une fois que nous pourrons exploiter notre optimisme à propos des générateurs de texte IA, nous pourrons nous concentrer sur la capacité de ces outils à nous aider à écrire des textes plus imaginatifs et plus intéressants.”

Ippolito, co-responsable de l’étude Penn et chercheuse scientifique actuelle chez Google, complète l’accent mis par Dugan sur la détection par l’accent mis par son travail sur l’exploration des cas d’utilisation les plus efficaces pour ces outils. Elle a par exemple contribué à Wordcraft, un outil d’écriture créative basé sur l’IA développé en collaboration avec des écrivains publiés. Aucun des écrivains ou chercheurs n’a trouvé que l’IA était un remplacement convaincant pour un écrivain de fiction, mais ils ont trouvé une valeur significative dans sa capacité à soutenir le processus créatif.

“Mon sentiment pour le moment est que ces technologies sont les mieux adaptées à l’écriture créative”, déclare Callison-Burch. “Les reportages, les dissertations ou les conseils juridiques sont de mauvais cas d’utilisation car il n’y a aucune garantie de factualité.”

“Il existe des directions positives passionnantes dans lesquelles vous pouvez pousser cette technologie”, déclare Dugan. “Les gens sont obsédés par les exemples inquiétants, comme le plagiat et les fausses nouvelles, mais nous savons maintenant que nous pouvons nous entraîner à devenir de meilleurs lecteurs et écrivains.”