Multimodales Meme-Datensatz (MultiOFF) zur Erkennung von beleidigender Inhalte in Bild und Text

Ein Meme ist eine Form von Medieninhalten, die eine Idee oder Emotion über das Internet verbreiten. Da das Teilen von Memes zu einer neuen Form der Kommunikation im Web geworden ist, nimmt die Anzahl an Hassmeme und damit verbundenen Phänomenen wie Trollen oder Cybermobbing zunehmend zu, insbesondere aufgrund der multimodalen Natur von Memes. Die Erkennung von Hassrede, beleidigendem Inhalt und aggressivem Inhalt wurde bereits ausgiebig in einzelnen Modalitäten wie Text oder Bild untersucht. Die Kombination beider Modalitäten zur Erkennung von beleidigendem Inhalt bleibt jedoch ein noch entwickelnder Bereich. Memes erschweren diese Aufgabe zusätzlich, da sie Humor und Ironie oft implizit ausdrücken, wodurch ein Meme allein aus der Betrachtung des Textes oder des Bildes nicht als beleidigend erscheinen mag. Daher ist es notwendig, beide Modalitäten zu kombinieren, um zu bestimmen, ob ein bestimmtes Meme tatsächlich beleidigend ist. Da bisher kein öffentlich zugänglicher Datensatz für die multimodale Erkennung von beleidigendem Meme-Inhalt existierte, haben wir Memes im Zusammenhang mit der US-Präsidentschaftswahl 2016 genutzt und den MultiOFF-Datensatz für die multimodale Erkennung von beleidigendem Inhalt erstellt. Anschließend haben wir für diese Aufgabe einen Klassifikator mithilfe des MultiOFF-Datensatzes entwickelt. Wir verwenden eine frühe Fusion, um die Bild- und Textmodalität zu kombinieren, und vergleichen diese Methode mit Baseline-Modellen, die nur Text oder nur Bild verwenden, um deren Wirksamkeit zu untersuchen. Unsere Ergebnisse zeigen eine Verbesserung hinsichtlich Präzision, Recall und F-Score. Der Quellcode und der Datensatz für diese Arbeit sind unter folgender URL veröffentlicht: \textit{https://github.com/bharathichezhiyan/Multimodal-Meme-Classification-Identifying-Offensive-Content-in-Image-and-Text}