AAA: Fair Evaluation für Abuse Detection Systeme erforderlich

Benutzererzeugter Webinhalt ist häufig von beleidigender Sprache geprägt, die andere schädigen und die Beteiligung an Online-Communities untergraben kann. Daher ist ein zentrales Forschungsziel die Entwicklung von Abusdetektionssystemen, die dazu dienen, menschliche Moderatoren in Online-Communities zu warnen und zu unterstützen. Solche Systeme sind äußerst schwierig zu entwickeln und zu bewerten. Selbst wenn sie auf gängigen Evaluationsmetriken eine zufriedenstellende Leistung zeigen, können sie in der Praxis bei neuen Daten versagen. Dies liegt teilweise daran, dass die in dieser Forschungsrichtung üblicherweise verwendeten Datensätze unter Selektionsbias leiden, weshalb bestehende überwachte Modelle übermäßig auf Stichworter wie Gruppenidentifikatoren (z. B. „gay“ oder „black“) setzen, die an sich nicht abusiv sind. Obwohl es Bemühungen gibt, diesen Bias zu verringern, messen aktuelle Evaluationsmetriken den Fortschritt hierbei nicht ausreichend. In dieser Arbeit stellen wir AAA (Adversarial Attacks against Abuse) vor – eine neue Evaluierungsstrategie und ein dazugehöriges Metrik-Tool, das die Leistung eines Modells bei bestimmten Klassen von schwer klassifizierbaren Mikro-Beiträgen besser erfasst und beispielsweise Systeme bestraft, die auf niedrigstufigen lexikalischen Merkmalen biasen. Dies geschieht, indem die Trainings- und Testdaten des Modellentwicklers adversarisch modifiziert werden, um plausibel erscheinende Testbeispiele dynamisch zu generieren. Wir stellen AAA als benutzerfreundliches Werkzeug zur Verfügung und zeigen dessen Wirksamkeit bei der Fehleranalyse, indem wir die AAA-Leistung mehrerer state-of-the-art-Modelle auf mehreren Datensätzen vergleichen. Diese Arbeit wird die Entwicklung von Detektionssystemen weiterhin unterstützen und einen Beitrag zum Kampf gegen abusivere Sprache im Internet leisten.