Seit wann bist du denn so klug, o Weiser?! Sarkasmus-Erklärung in multimodalen, mehrparteilichen Dialogen

Indirekte Sprache wie Sarkasmus erfüllt in der menschlichen Kommunikation eine Vielzahl von diskursiven Zielen. Während die Indirektheit figurativer Sprache es Sprechern ermöglicht, bestimmte pragmatische Ziele zu erreichen, stellt sie für KI-Agenten eine erhebliche Herausforderung dar, da diese Besonderheiten der menschlichen Kommunikation schwer zu erfassen sind. Obwohl die Erkennung von Sarkasmus ein gut erforschtes Thema in der Dialoganalyse ist, reicht es für conversationelle Systeme, um den eigentlichen Sinn eines Gesprächs wirklich zu verstehen und angemessene Antworten zu generieren, nicht aus, lediglich Sarkasmus zu detektieren; vielmehr ist es entscheidend, die zugrundeliegende satirische Konnotation zu erklären, um deren wahre Essenz zu erfassen. In dieser Arbeit untersuchen wir die Diskursstruktur satirischer Gespräche und stellen eine neue Aufgabe vor – Sarcasm Explanation in Dialogue (SED). Im Kontext eines multimodalen und code-mixten Settings zielt diese Aufgabe darauf ab, natürlichsprachliche Erklärungen für satirische Gespräche zu generieren. Dazu haben wir das neue Datenset WITS zusammengestellt, um unsere Aufgabe zu unterstützen. Wir schlagen MAF (Modality Aware Fusion) vor, ein multimodales, kontextbewusstes Aufmerksamkeits- und Globalinformationssynthesemodul, das Multimodalität erfassen kann, und nutzen es zur Benchmarking von WITS. Das vorgeschlagene Aufmerksamkeitsmodul übertrifft die traditionellen Baselines für multimodale Fusion und erzielt die besten Ergebnisse bei fast allen Metriken. Abschließend führen wir detaillierte quantitative und qualitative Analysen durch.