Le modèle utilise des prédictions humaines et algorithmiques et des scores de confiance pour améliorer la précision

“Les algorithmes humains et machine ont des forces et des faiblesses complémentaires. Chacun utilise différentes sources d’informations et stratégies pour faire des prédictions et prendre des décisions”, a déclaré le co-auteur Mark Steyvers, professeur de sciences cognitives à l’UCI. “Nous montrons à travers des démonstrations empiriques ainsi que des analyses théoriques que les humains peuvent améliorer les prédictions de l’IA même lorsque la précision humaine est quelque peu inférieure [that of] l’IA — et vice versa. Et cette précision est supérieure à la combinaison des prédictions de deux individus ou de deux algorithmes d’IA.”

Pour tester le cadre, les chercheurs ont mené une expérience de classification d’images dans laquelle des participants humains et des algorithmes informatiques ont travaillé séparément pour identifier correctement les images déformées d’animaux et d’objets du quotidien – chaises, bouteilles, vélos, camions. Les participants humains ont classé leur confiance dans la précision de chaque identification d’image comme faible, moyenne ou élevée, tandis que le classificateur de la machine a généré un score continu. Les résultats ont montré de grandes différences de confiance entre les humains et les algorithmes d’IA à travers les images.

“Dans certains cas, les participants humains étaient tout à fait convaincus qu’une image particulière contenait une chaise, par exemple, tandis que l’algorithme d’IA était confus à propos de l’image”, a déclaré le co-auteur Padhraic Smyth, professeur d’informatique du chancelier de l’UCI. “De même, pour d’autres images, l’algorithme d’IA a pu fournir en toute confiance une étiquette pour l’objet affiché, tandis que les participants humains ne savaient pas si l’image déformée contenait un objet reconnaissable.”

Lorsque les prédictions et les scores de confiance des deux ont été combinés à l’aide du nouveau cadre bayésien des chercheurs, le modèle hybride a conduit à de meilleures performances que les prédictions humaines ou machine réalisées seules.

“Alors que les recherches antérieures ont démontré les avantages de combiner les prédictions de la machine ou de combiner les prédictions humaines – la soi-disant” sagesse des foules “- ce travail ouvre une nouvelle direction en démontrant le potentiel de la combinaison des prédictions humaines et de la machine, pointant vers de nouvelles et des approches améliorées de la collaboration homme-IA », a déclaré Smyth.

Ce projet interdisciplinaire a été facilité par l’Irvine Initiative in AI, Law, and Society. La convergence des sciences cognitives – qui se concentrent sur la compréhension de la façon dont les humains pensent et se comportent – avec l’informatique – dans laquelle les technologies sont produites – permettra de mieux comprendre comment les humains et les machines peuvent collaborer pour construire des systèmes artificiellement intelligents plus précis, ont déclaré les chercheurs.

Les co-auteurs supplémentaires incluent Heliodoro Tejada, un étudiant diplômé de l’UCI en sciences cognitives, et Gavin Kerrigan, un doctorat de l’UCI. étudiant en informatique.

Le financement de cette étude a été fourni par la National Science Foundation sous les numéros de prix 1927245 et 1900644 et le HPI Research Center in Machine Learning and Data Science at UCI.

Source de l’histoire :

Matériaux fourni par Université de Californie – Irvine. Remarque : Le contenu peut être modifié pour le style et la longueur.