Erkennung von Hassrede in Memes durch multimodale Deep-Learning-Ansätze: Preisgekrönte Lösung für die Hateful Memes Challenge

Internet-Memes sind oft harmlos und manchmal amüsant. Allerdings können bestimmte Arten von Bildern, Texten oder Kombinationen beider die scheinbar harmlosen Memes zu einer multimodalen Form des Hassspruches verwandeln – einem hassbringenden Meme. Die „Hateful Memes Challenge“ ist ein einzigartiger Wettbewerb, der sich auf die Erkennung von Hassspruch in multimodalen Memes konzentriert und einen neuen Datensatz mit über 10,000 neuen Beispielen multimodaler Inhalte vorschlägt. Wir nutzen VisualBERT – das als das BERT für Vision und Sprache gedacht ist –, das multimodal auf Bilder und Bildunterschriften trainiert wurde, und wenden Ensemble-Lernen an. Unser Ansatz erreicht einen AUROC-Wert von 0.811 und eine Genauigkeit von 0.765 im Testdatensatz der Challenge und belegte den dritten Platz unter 3,173 Teilnehmern bei der „Hateful Memes Challenge“.