Window-Transformer für Dialogdokumente: Ein gemeinsamer Rahmen für kausale Emotionsfolgerung

Die Aufgabe der kausalen Emotionsentailment (CEE) zielt darauf ab, alle möglichen Paare aus Emotionen und deren entsprechenden Ursachen aus einem nicht annotierten Emotionsdokument im konversationellen Kontext zu extrahieren. Die meisten bestehenden Ansätze zur Lösung der CEE-Aufgabe folgen einem zweistufigen Pipeline-Framework: In der ersten Stufe werden emotionale Satzabschnitte und Ursachensätze identifiziert sowie deren Repräsentationen extrahiert. In der zweiten Stufe werden schließlich die finalen Emotion-Ursache-Paare konstruiert. Diese Ansätze ignorieren jedoch den Einfluss des Abstands zwischen Satzabschnitten auf die Übereinstimmung von Emotion-Ursache-Paaren. Hier stellen wir einen gemeinsamen Rahmen mit Window Transformer vor, um dieses Problem zu adressieren. Die vortrainierten Modelle BERT und RoBERTa werden als Text-Encoder eingesetzt, um lokale Repräsentationen der Satzabschnitte innerhalb eines gegebenen Dokuments zu generieren. Gleichzeitig wird der Text in einen 2D Window Transformer eingespeist, um die Repräsentation der Satzabschnitte empfindlich gegenüber dem Kontext innerhalb eines Fensters zu machen und die Abhängigkeiten zwischen den Abschnitten zu erfassen. Gleichzeitig ordnet das Dokument die Kandidatensätze nach Relevanz, um kausale Emotionsentailments zu extrahieren, wodurch die Repräsentation von Satzabschnittspaaren (Emotionspaaren und Ursachenpaaren) durch eine kernelbasierte relative Positionsembedding verbessert wird. Experimentelle Ergebnisse zeigen, dass der vorgeschlagene Rahmen state-of-the-art Ergebnisse auf dem Benchmark-Datensatz erzielt.