AAA : Une Évaluation Équitable pour les Systèmes de Détection des Abus Souhaitée

Le contenu web généré par les utilisateurs est souvent marqué par des langages abusifs pouvant nuire aux autres et décourager la participation. Par conséquent, un objectif fondamental de la recherche consiste à développer des systèmes de détection de l’abus capables d’alerter et de soutenir les modérateurs humains des communautés en ligne. Ces systèmes sont particulièrement difficiles à concevoir et à évaluer. Même lorsqu’ils semblent atteindre des performances satisfaisantes selon les métriques d’évaluation actuelles, ils peuvent échouer en pratique sur de nouvelles données. Cela s’explique en partie par le biais de sélection présent dans les jeux de données couramment utilisés dans ce domaine, ce qui conduit les modèles supervisés existants à s’appuyer excessivement sur des mots indicatifs, tels que des identifiants de groupe (par exemple, « gay » ou « black »), qui ne sont pas intrinsèquement abusifs. Bien qu’il existe des tentatives pour atténuer ce biais, les métriques d’évaluation actuelles ne mesurent pas adéquatement les progrès réalisés. Dans ce travail, nous proposons AAA (Adversarial Attacks against Abuse), une nouvelle stratégie d’évaluation et une métrique associée qui capture de manière plus précise les performances d’un modèle sur certaines catégories de micro-messages difficiles à classer, et qui pénalise notamment les systèmes biaisés par des caractéristiques lexicales de bas niveau. Cette approche consiste à modifier de manière adversaire les données d’entraînement et de test du développeur de modèle afin de générer dynamiquement des échantillons de test plausibles. Nous mettons AAA à disposition sous forme d’outil facile à utiliser, et démontrons son efficacité dans l’analyse des erreurs en comparant les performances de plusieurs modèles d’état de l’art sur divers jeux de données. Ce travail contribuera à guider le développement de systèmes de détection et renforcera la lutte contre les langages abusifs en ligne.