League of Legends utilise le Machine Learning contre le harcèlement en ligne et le comportement toxique

Une équipe de psychologues et de scientifiques chez Riot Games ont découvert le secret pour supprimer le harcèlement en ligne et les insultes dans League Of Legends grâce au Machine Learning.

Le comportement toxique dans League of Legends

Comme de nombreux espaces en ligne, League of Legends, le jeu en ligne le plus populaire dans le monde, est un terreau favorable pour les insultes et le comportement toxique. Renforcé par l’anonymat et exacerbé par la compétition de League of Legends, Riot Games est confronté à ce problème depuis des années. Mais une équipe de scientifiques et de Designers a trouvé un moyen pour améliorer l’interaction entre les joueurs. Ces dernières années, l’équipe a testé de nombreux systèmes et techniques qui se basent sur le Machine Learning. Ces méthodes surveillent la communication en ligne des joueurs, punissent les comportements négatifs et récompensent les comportements positifs. Et les résultats sont remarquables selon Jeffrey Lin, le designer en chef des systèmes sociaux chez Riot Games. Le Machine Learning a surveillé plusieurs millions de cas de comportement abusif. 92 % des joueurs, qui ont été détectés en train d’insulter d’autres joueurs, n’ont jamais plus recommencé. Lin, qui est un neuroscientifique dans la cognition, croit que les techniques de son équipe peuvent être appliqués à d’autres domaines que le jeu vidéo. Il pense que Riot Games a créé un antidote au comportement toxique en ligne indépendamment de la plateforme.

Le Tribunal de League of Legends

Le projet a commencé il y a plusieurs années lorsque l’équipe a introduit un système de gouvernance appelé le Tribunal. Ce concept était intégré directement dans League of Legends. Le jeu pouvait identifier des cas potentiels d’insultes et il créait un dossier de l’interaction. Ce dossier était ensuite présenté à la communauté de League of Legends (environ 67 millions de personnes à ce jour) qui jugeait du comportement en lisant les journaux de chat et la communauté votait si le comportement était abusif. En général, ce système était précis, car 98 % des verdicts de la communauté correspondaient avec ceux de l’équipe de Riot Games.

Plusieurs millions de joueurs ont été jugés avec cette méthode. Et au fil du temps, Lin et son équipe ont remarqué des Patterns dans le langage toxique des joueurs. Pour optimiser le processus, l’équipe a décidé d’appliquer le Machine Learning à ces données. Et ce fut un succès retentissant puisque le Machine Learning a parfaitement segmenté le langage positif et négatif dans plus de 15 langues officielles qui sont supportées par League of Legends.

Le Machine Learning peut détecter un comportement toxique en 5 minutes

La nouvelle version de ce système, qui se base sur le Machine Learning plutôt que par les autres joueurs, est plus efficace, car il permet d’avoir un retour rapide sur le comportement toxique du jeu. Il peut détecter et juger un joueur en 5 minutes alors que le processus par les humains prenait une semaine. Lin a déclaré que le système a amélioré considérablement ce que l’entreprise appelle les taux de réforme. Un joueur, qui avait déjà reçu une pénalité telle qu’une suspension pour les matchs à rang, est considéré comme étant réformé lorsqu’il ou elle évite de nouvelles pénalités pendant une certaine période de temps. Quand nous avons ajouté un meilleur retour aux punitions et que nous avons inclus des preuves telles que les discussions par le chat, le taux de réforme est passé de 50 à 65 %. Mais quand le Machine Learning a commencé à détecter les joueurs avec les preuves de leurs crimes, alors le taux de réforme a explosé le plafond en atteignant les 92 %. L’une des raisons est que le Machine Learning peut avertir un joueur alors qu’il vient à peine de commettre son infraction et l’impression d’être surveillé l’empêchera de jouer au Caid pour la prochaine fois.

L’intelligence artificielle ne comprend pas le contexte

Mais le Machine Learning doit résoudre le problème du contexte. Comme n’importe quelle équipe de sport, les joueurs utilisent souvent des insultes et des sarcasmes dans un esprit de camaraderie dans un certain contexte tandis que dans d’autres contextes, les mêmes insultes et sarcasmes sont insultants et racistes. L’intelligence artificielle ne peut pas comprendre ce contexte et c’est sans doute le principal obstacle pour que le Machine Learning puisse détecter les insultes en ligne sur toutes les plateformes. Il est très clair que les intelligences artificielles comprennent mieux le langage lorsqu’il y a peu d’information contextuelle pour calculer la réponse appropriée selon Chris Dyer qui est un professeur adjoint à l’université de Carnegie Mellon et qui travaille dans le traitement du langage naturel. Les problèmes qui doivent être résolus selon un certain contexte sont beaucoup plus difficiles à résoudre et le sarcasme se base énormément sur le contexte.

Actuellement, Lin et son équipe tentent d’équilibrer en ajoutant plus de données et de processus. Quand le Machine Learning identifie un joueur comme étant toxique, d’autres systèmes sont déclenchés pour confirmer ou non le verdict. Par exemple, le second système pourra se baser sur l’historique du joueur pour voir si c’est un habitué des insultes. Et étant donné le traitement croisé de ces systèmes, le taux de faux positif est seulement de 1 sur 5000 selon Lin. Pour supprimer le comportement toxique, Riot a créé des punitions pour persuader les joueurs à changer de comportement. Par exemple, les joueurs qui insultent n’ont plus accès à toutes les fonctions du chat ou que ces joueurs doivent passer par des jeux sans classement sans aucun incident avant de jouer aux parties les mieux classés. Rio Games récompense également les joueurs avec le meilleur comportement.

Une solution globale contre tous les harcèlements en ligne

Lin estime que lui et son équipe ont appris de nombreuses leçons sur ce Machine Learning pour lutter contre le harcèlement en ligne. L’une des plus grandes découvertes de cette recherche est que le comportement toxique ne vient pas forcément des joueurs qui sont exécrables par nature, mais de personnes normales qui ont eu une mauvaise journée selon Justin Reich, un scientifique du Berkman Center à Harward. Cela signifie que nos stratégies pour combattre les insultes en ligne ne peuvent pas être conçues pour cibler uniquement les Trolls les plus détestables. On doit prendre en compte notre tendance collective, en tant qu’être humain, à s’autoriser le pire parce qu’on se croit anonyme sur le web.

 
De plus, Reich pense que les travaux de Lin démontrent que le comportement toxique n’est pas propre au web, mais un problème qu’on peut résoudre avec une combinaison d’ingénierie, d’expérimentation et d’engagement dans une communauté. Les défis et les comportements qu’on voit dans League of Legends existent dans n’importe quelle plateforme en ligne que ce soit un forum, un blog ou d’autres jeux en ligne. C’est pourquoi nous pensons que nous sommes à un tournant pour réguler les communautés en ligne une bonne fois pour toutes selon Lin. Et étant donné que c’est un phénomène qui concerne tout le monde, nous sommes très ouverts pour partager nos données et nos pratiques avec tout le secteur. Les autres studios et entreprises peuvent étudier nos résultats et ils réaliseront que le comportement toxique en ligne n’est pas un problème insoluble.

---

Mes livres

Le Basilic de Roko	Mon parcours de rédacteur web	Science corrompue et servile	Nous, Tueurs en série