UTNLP bei SemEval-2022 Aufgabe 6: Eine vergleichende Analyse der Sarkasmusdetektion unter Verwendung generativer und mutationsbasierter Datenverstärkung

Sarkasmus ist ein Begriff, der die Verwendung von Worten zur Verhöhnung, Reizung oder Unterhaltung eines anderen beschreibt. Er wird häufig in sozialen Medien verwendet. Die metaphorische und kreative Natur des Sarkasmus stellt eine erhebliche Herausforderung für Sentiment-Analyse-Systeme auf Basis affektiver Informatik dar. In diesem Beitrag präsentieren wir die Methodik und Ergebnisse unseres Teams, UTNLP, bei der gemeinsamen Aufgabe 6 des SemEval-2022-Wettbewerbs zur Erkennung von Sarkasmus. Wir testeten verschiedene Modelle sowie Ansätze zur Datenverstärkung (data augmentation) und berichten über die besten Ergebnisse. Die Evaluierung beginnt mit klassischen maschinellen Lernmodellen und reicht bis hin zu Transformer- und Aufmerksamkeits-basierten Modellen. Als Datenverstärkung setzten wir sowohl Datenmutation als auch Datengenerierung ein. Mit RoBERTa und datenmutationbasiertem Augmentierung erreichten wir im Evaluierungsphase des Wettbewerbs eine F1-Sarkasmus-Score von 0,38. Nach Abschluss des Wettbewerbs optimierten wir unsere Modellarchitektur und erreichten anschließend eine F1-Sarkasmus-Score von 0,414.