DialogXL: All-in-One XLNet für die Emotionserkennung in Multi-Party-Gesprächen

Diese Arbeit präsentiert unseren wegweisenden Ansatz zur Emotionserkennung in Gesprächen (ERC) unter Verwendung vortrainierter Sprachmodelle. Im Gegensatz zu regulären Dokumenten treten conversational utterances abwechselnd von verschiedenen Parteien auf und werden in früheren Arbeiten üblicherweise als hierarchische Strukturen organisiert. Solche Strukturen sind jedoch nicht förderlich für die Anwendung vortrainierter Sprachmodelle wie XLNet. Um dieses Problem zu lösen, schlagen wir ein integriertes XLNet-Modell vor, das DialogXL genannt wird, mit erweiterter Speicherkapazität zur Aufbewahrung längerer historischer Kontexte sowie dialogbewusster Selbst-Attention zur Bewältigung mehrparteierstruktureller Gegebenheiten. Konkret modifizieren wir zunächst den Rekursionsmechanismus von XLNet von der Segment- auf die Äußerungsebene, um conversational Daten besser zu modellieren. Zweitens führen wir dialogbewusste Selbst-Attention anstelle der herkömmlichen Selbst-Attention in XLNet ein, um nützliche intra- und inter-sprecherbezogene Abhängigkeiten zu erfassen. Umfassende Experimente werden auf vier ERC-Benchmark-Datensätzen durchgeführt, wobei Mainstream-Modelle als Vergleichsgrundlage dienen. Die experimentellen Ergebnisse zeigen, dass das vorgeschlagene Modell auf allen Datensätzen die Baseline-Modelle übertrifft. Zusätzliche Experimente wie eine Ablationsstudie und eine Fehleranalyse wurden ebenfalls durchgeführt, und deren Ergebnisse bestätigen die entscheidende Rolle der kritischen Module von DialogXL.