Un nouveau cyberlogiciel peut vérifier la quantité de connaissances que l’IA connaît vraiment

Le logiciel de vérification de Surrey peut être utilisé dans le cadre du protocole de sécurité en ligne d’une entreprise, aidant une organisation à comprendre si une IA a trop appris ou même accédé à des données sensibles.

Le logiciel est également capable d’identifier si l’IA a identifié et est capable d’exploiter les failles du code logiciel. Par exemple, dans un contexte de jeu en ligne, il pourrait identifier si une IA a appris à toujours gagner au poker en ligne en exploitant une erreur de codage.

Le Dr Solofomampionona Fortunat Rajaona est chercheur en vérification formelle de la vie privée à l’Université de Surrey et auteur principal de l’article. Il a dit:

“Dans de nombreuses applications, les systèmes d’IA interagissent entre eux ou avec les humains, comme les voitures autonomes sur une autoroute ou les robots hospitaliers. Déterminer ce qu’un système de données d’IA intelligent sait est un problème permanent auquel nous avons mis des années à trouver un travail solution pour.

“Notre logiciel de vérification peut déduire ce que l’IA peut apprendre de leur interaction, s’ils ont suffisamment de connaissances pour permettre une coopération réussie et s’ils ont trop de connaissances qui briseront la vie privée. Grâce à la possibilité de vérifier ce que l’IA a appris, nous pouvons donner organisations la confiance nécessaire pour libérer en toute sécurité la puissance de l’IA dans des environnements sécurisés.”

L’étude sur le logiciel de Surrey a remporté le prix du meilleur article lors du 25e Symposium international sur les méthodes formelles.

Le professeur Adrian Hilton, directeur de l’Institute for People-Centered AI à l’Université de Surrey, a déclaré :

“Au cours des derniers mois, il y a eu un énorme regain d’intérêt du public et de l’industrie pour les modèles d’IA générative alimentés par les progrès des grands modèles de langage tels que ChatGPT. La création d’outils capables de vérifier les performances de l’IA générative est essentielle pour étayer leur sécurité et déploiement responsable. Cette recherche est une étape importante vers est une étape importante vers le maintien de la confidentialité et de l’intégrité des ensembles de données utilisés dans la formation.

Informations complémentaires : https://openresearch.surrey.ac.uk/esploro/outputs/99723165702346