Une étude massive et participative provient de 327 co-auteurs de 186 institutions de 14 pays

Les esprits curieux de BYU et de 186 autres universités voulaient savoir comment la technologie d’OpenAI se comporterait lors des examens de comptabilité. Ils ont donc mis à l’épreuve la version originale, ChatGPT. Les chercheurs disent que même s’il reste du travail à faire dans le domaine de la comptabilité, c’est un changement de jeu qui changera la façon dont tout le monde enseigne et apprend – pour le mieux.

“Lorsque cette technologie est sortie pour la première fois, tout le monde craignait que les étudiants puissent désormais l’utiliser pour tricher”, a déclaré l’auteur principal de l’étude, David Wood, professeur de comptabilité à BYU. “Mais les opportunités de tricherie ont toujours existé. Donc, pour nous, nous essayons de nous concentrer sur ce que nous pouvons faire avec cette technologie maintenant que nous ne pouvions pas faire auparavant pour améliorer le processus d’enseignement pour les professeurs et le processus d’apprentissage pour les étudiants. ça m’a ouvert les yeux.”

Depuis ses débuts en novembre 2022, ChatGPT est devenu la plate-forme technologique à la croissance la plus rapide de tous les temps, atteignant 100 millions d’utilisateurs en moins de deux mois. En réponse à un débat intense sur la façon dont des modèles comme ChatGPT devraient être pris en compte dans l’éducation, Wood a décidé de recruter autant de professeurs que possible pour voir comment l’IA s’en sortait par rapport aux étudiants universitaires en comptabilité.

Son argumentaire de recrutement de co-auteurs sur les réseaux sociaux a explosé : 327 co-auteurs de 186 établissements d’enseignement dans 14 pays ont participé à la recherche, contribuant à 25 181 questions d’examen de comptabilité en classe. Ils ont également recruté des étudiants de premier cycle de BYU (y compris la fille de Wood, Jessica) pour alimenter ChatGPT avec 2 268 autres questions de banque de tests de manuels. Les questions portaient sur les systèmes d’information comptable (SIA), l’audit, la comptabilité financière, la comptabilité de gestion et la fiscalité, et variaient en difficulté et en nature (vrai/faux, QCM, réponse courte, etc.).

Bien que les performances de ChatGPT aient été impressionnantes, les étudiants ont obtenu de meilleurs résultats. Les étudiants ont obtenu une moyenne globale de 76,7 %, contre 47,4 % pour ChatGPT. Sur 11,3 % des questions, ChatGPT a obtenu un score supérieur à la moyenne des étudiants, se débrouillant particulièrement bien sur l’AIS et l’audit. Mais le bot AI a fait pire sur les évaluations fiscales, financières et de gestion, peut-être parce que ChatGPT a eu du mal avec les processus mathématiques requis pour ce dernier type.

En ce qui concerne le type de question, ChatGPT a obtenu de meilleurs résultats sur les questions vrai/faux (68,7 % de réponses correctes) et les questions à choix multiples (59,5 %), mais a eu du mal avec les questions à réponse courte (entre 28,7 % et 39,1 %). En général, il était plus difficile pour ChatGPT de répondre aux questions d’ordre supérieur. En fait, ChatGPT fournissait parfois des descriptions écrites faisant autorité pour les réponses incorrectes, ou répondait à la même question de différentes manières.

“Ce n’est pas parfait, vous ne l’utiliserez pas pour tout”, a déclaré Jessica Wood, actuellement étudiante en première année à BYU. “Essayer d’apprendre uniquement en utilisant ChatGPT est une course folle.”

Les chercheurs ont également découvert d’autres tendances fascinantes grâce à l’étude, notamment :

• ChatGPT ne reconnaît pas toujours quand il fait des calculs et fait des erreurs absurdes telles que l’addition de deux nombres dans un problème de soustraction ou la division incorrecte de nombres.
• ChatGPT fournit souvent des explications sur ses réponses, même si elles sont incorrectes. D’autres fois, les descriptions de ChatGPT sont exactes, mais il sélectionnera alors la mauvaise réponse à choix multiples.
• ChatGPT invente parfois des faits. Par exemple, lorsqu’il fournit une référence, il génère une référence d’apparence réelle qui est complètement fabriquée. L’œuvre et parfois les auteurs n’existent même pas.

Cela dit, les auteurs s’attendent pleinement à ce que GPT-4 améliore de manière exponentielle les questions comptables posées dans leur étude et les problèmes mentionnés ci-dessus. Ce qu’ils trouvent le plus prometteur, c’est la façon dont le chatbot peut aider à améliorer l’enseignement et l’apprentissage, y compris la capacité de concevoir et de tester des devoirs, ou peut-être être utilisé pour rédiger des parties d’un projet.

“C’est l’occasion de se demander si nous enseignons ou non des informations à valeur ajoutée”, a déclaré Melissa Larson, co-auteure de l’étude et professeure de comptabilité à BYU. “C’est une perturbation, et nous devons évaluer où nous allons à partir de maintenant. Bien sûr, je vais toujours avoir des TA, mais cela va nous obliger à les utiliser de différentes manières.”