Zu einer erklärbaren Erkennung schädlicher Memes durch multimodale Debatte zwischen großen Sprachmodellen

Die Ära der sozialen Medien ist von Internet-Memes überschwemmt, was ein klares Verständnis und eine effektive Identifizierung schädlicher Memes erforderlich macht. Diese Aufgabe stellt aufgrund der impliziten Bedeutung, die in Memes verborgen ist und nicht explizit durch Text oder Bild vermittelt wird, eine erhebliche Herausforderung dar. Bisherige Ansätze zur Erkennung schädlicher Memes liefern jedoch keine nachvollziehbaren Erklärungen, die diese impliziten Bedeutungen aufdecken und somit die Entscheidungsfindung unterstützen. In diesem Paper stellen wir einen erklärbaren Ansatz zur Erkennung schädlicher Memes vor, der durch die Reflexion widersprüchlicher Argumentationslinien aus harmlosen und schädlichen Perspektiven erreicht wird. Konkret inspiriert durch die starke Fähigkeit großer Sprachmodelle (Large Language Models, LLMs) in Bezug auf Textgenerierung und Schlussfolgerung, leiten wir zunächst eine mehrmodale Debatte zwischen LLMs ein, um Erklärungen abzuleiten, die auf gegensätzlichen Argumenten basieren. Anschließend schlagen wir vor, ein kleines Sprachmodell durch Feinabstimmung als „Debattengericht“ zur Schädlichkeitsinferenz zu nutzen, um eine effektive mehrmodale Fusion zwischen den Schädlichkeitsargumenten und den inhärenten mehrmodalen Informationen innerhalb der Memes zu ermöglichen. Auf diese Weise ist unser Modell in der Lage, dialektisches Denken über komplexe und implizite Muster schädlicher Inhalte zu betreiben und dabei mehrmodale Erklärungen zu nutzen, die aus sowohl harmlosen als auch schädlichen Argumenten stammen. Umfassende Experimente an drei öffentlichen Memedatensätzen zeigen, dass unser Ansatz zur Erkennung schädlicher Memes eine deutlich bessere Leistung als aktuelle State-of-the-Art-Methoden erzielt und darüber hinaus eine überlegene Fähigkeit zur Erklärung der Schädlichkeit von Memes in den Modellvorhersagen aufweist.