Die Hateful Memes Challenge: Erkennung von Hassrede in multimodalen Memes

Diese Arbeit stellt einen neuen Challenge-Datensatz für die multimodale Klassifikation vor, der sich auf die Erkennung von Hassrede in multimodalen Memes konzentriert. Der Datensatz ist so konstruiert, dass einimodale Modelle Schwierigkeiten haben, während nur multimodale Modelle erfolgreich sein können: Schwierige Beispiele („benign confounders“) wurden absichtlich in den Datensatz integriert, um die Abhängigkeit von einimodalen Signalen zu erschweren. Die Aufgabe erfordert feine Schlussfolgerungen, ist jedoch als binäre Klassifikationsaufgabe einfach zu bewerten. Wir liefern Baseline-Ergebnisse sowohl für einimodale als auch für multimodale Modelle unterschiedlicher Komplexität. Wir stellen fest, dass state-of-the-art-Methoden im Vergleich zu Menschen schlecht abschneiden (64,73 % gegenüber 84,7 % Genauigkeit), was die Schwierigkeit der Aufgabe unterstreicht und die Herausforderung verdeutlicht, die dieses wichtige Problem für die Forschungsgemeinschaft darstellt.