Ein Benchmark für die Klassifizierung toxischer Kommentare im Civil Comments-Datensatz

Die Erkennung giftiger Kommentare in sozialen Medien hat sich als essenziell für die Inhaltsmoderation erwiesen. Diese Arbeit vergleicht eine breite Palette verschiedener Modelle an einem stark unbalancierten, mehrfach beschrifteten Hassrede-Datensatz. Wir berücksichtigen die Inferenzzeit und verschiedene Metriken zur Leistungsmessung und Bias-Ermittlung in unserem Vergleich. Unsere Ergebnisse zeigen, dass alle BERT-Modelle eine ähnliche Leistung erbringen, unabhängig von der Größe, den Optimierungen oder der Sprache, die bei der Vortrainierung verwendet wurde. RNNs sind bei der Inferenz deutlich schneller als jedes der BERT-Modelle. BiLSTM bleibt ein guter Kompromiss zwischen Leistung und Inferenzzeit. RoBERTa mit Focal Loss bietet die beste Leistung in Bezug auf Biases und AUROC (Area Under the Receiver Operating Characteristic Curve). Dennoch kombiniert DistilBERT sowohl eine gute AUROC als auch eine kurze Inferenzzeit. Alle Modelle werden von dem Bias beeinflusst, Identitäten zuordnen zu wollen. BERT, RNN und XLNet sind weniger empfindlich gegenüber diesem Bias als CNN (Convolutional Neural Network) und Compact Convolutional Transformers.