Le logiciel de justice COMPAS aussi inefficace que des personnes inexpérimentées

Selon une étude de Dartmouth College, un outil informatique largement utilisé, nommé COMPAS, n’est pas plus précis pour prédire un comportement criminel récidiviste que les personnes sans expérience en matière de justice pénale. L’analyse de Dartmouth a montré que les non-experts, qui ont répondu à un questionnaire en ligne, étaient aussi performants que le logiciel Correctional Offender Management Profiling for Alternative Sanctions (COMPAS) qui est utilisé par les tribunaux pour déterminer le risque de récidive.

Le logiciel COMPAS pour prédire la récidive

Le papier démontre également que même si COMPAS utilise plus d’une centaine d’informations pour faire une prédiction, le même niveau de précision peut être atteint avec seulement deux variables qui sont l’âge du défendeur et le nombre de condamnations antérieures. Selon le papier, COMPAS a été utilisé pour évaluer plus d’un million de délinquants depuis son élaboration en 1998 et son volet de prévision de la récidive est utilisé depuis 2000.

L’analyse, publiée dans la revue Science Advances, a été réalisée par l’équipe de recherche de Julia Dressel et Hany Farid. Il est troublant que des personnes non formées puissent fonctionner aussi bien qu’un programme informatique utilisé pour prendre des décisions importantes sur les accusés criminels selon Farid, professeur d’informatique au Dartmouth College. L’utilisation d’un tel logiciel est inutile pour aider les personnes qui pourraient se voir refuser une seconde chance par des algorithmes de type boîte noire.

Le logiciel COMPAS est utilisé dans de nombreuses décisions de justice

Selon le papier, des logiciels comme COMPAS sont utilisés dans les décisions avant le procès, la libération conditionnelle et la détermination de la peine pour prédire le comportement criminel incluant la non-parution devant un tribunal et le risque de récidive à un moment donné. Les partisans de tels systèmes soutiennent que les mégadonnées et l’apprentissage automatique permettent ces analyses plus précises et moins biaisées que les prédictions faites par les humains.

Le fait de prétendre que des outils de données confidentielles et apparemment sophistiquées sont plus précis et équitables que les humains ne sont simplement pas soutenus par nos résultats de recherche selon Dressel, qui a effectué la recherche dans le cadre de sa thèse de premier cycle en informatique à Dartmouth.

Le papier a comparé le logiciel COMPAS contre des travailleurs sur le service Mechanical Turk d’Amazon pour déterminer l’approche la plus équitable pour juger de la possibilité de récidive. Pour l’étude, la récidive a été définie comme un délit ou un crime dans les deux ans suivant la dernière arrestation du défendeur. Ces travailleurs ont lu de courtes descriptions qui incluaient le sexe d’un accusé, son âge et ses antécédents criminels. Les résultats humains ont ensuite été comparés aux résultats du système COMPAS qui utilise 137 variables pour chaque individu.

Des personnes inexpérimentées aussi précises que le logiciel COMPAS

L’exactitude globale était fondée sur le taux auquel un défendeur avait correctement prévu de récidiver ou non. La recherche a également fait état de faux positifs, lorsqu’un prévenu est censé récidiver, mais ne le fait pas, et de faux négatifs, lorsqu’un prévenu est prédit de ne pas récidiver, mais qu’il le fait. Avec beaucoup moins d’informations que COMPAS, 7 caractéristiques comparées à 137, lorsque les résultats ont été regroupés pour déterminer la sagesse de la foule, les humains sans expérience présumée de justice pénale étaient exacts dans 67 % des cas présentés, soit la même signifiance statistique que la précision de 65,2 % de COMPAS.

[stextbox id=”cadrage”]

Les participants à l’étude et COMPAS sont arrivés aux mêmes conclusions pour 69,2 % des 1000 accusés lorsqu’ils prédisaient la récidive.

[/stextbox]

De nombreux logiciels de justice sont également inefficaces

Selon l’étude, la question de la prédiction de la récidive ne se limite pas à COMPAS. Une revue distincte citée dans l’étude a révélé que 8 des 9 logiciels n’ont pas réussi à faire des prédictions précises. L’utilisation complète des instruments de prédiction de la récidive dans les salles d’audience devrait être remise en question selon Mme Dressel. Avec des travaux antérieurs sur l’équité des algorithmes de justice pénale, ces résultats combinés jettent un doute important sur l’ensemble de l’effort de prédiction de la récidive.

Contrairement à d’autres analyses visant à déterminer si les algorithmes sont biaisés sur le plan racial, l’étude de Dartmouth considère la question plus fondamentale de déterminer si l’algorithme COMPAS est meilleur que celui des non-initiés pour prédire la récidive de façon juste et équitable. Cependant, quand la race a été considérée, la recherche a révélé que les résultats des humains et du logiciel montraient des disparités significatives entre la façon dont les accusés noirs et blancs sont jugés. Selon le papier, il est utile de demander si nous mettrions ces décisions entre les mains de personnes non formées qui répondraient à un questionnaire en ligne, car en fin de compte, les résultats de ces 2 approches semblent être indiscernables.

Source : Science Advances (http://dx.doi.org/10.1126/sciadv.aao5580)