MPC-BERT: Ein vortrainiertes Sprachmodell für das Verständnis von Mehrparteien-Gesprächen

Kürzlich haben verschiedene neuronale Modelle für Mehrparteien-Konversationen (MPC) auf einer Vielzahl von Aufgaben wie Adressatenerkennung, Sprecheraufklärung und Antwortvorhersage beeindruckende Verbesserungen erzielt. Allerdings ignorieren die bestehenden Methoden für MPC in der Regel die inhärente komplexe Struktur in MPC, die wichtige Interaktions- und Äußerungssemantik bereitstellen könnte und den Verständnisprozess der Konversation verbessern würde. Hierfür präsentieren wir MPC-BERT, ein vortrainiertes Modell zur Verarbeitung von Mehrparteien-Konversationen, das das Lernen von "Wer sagt Was zu Wen" in einem vereinten Modell mit mehreren sorgfältig gestalteten selbstüberwachten Aufgaben berücksichtigt. Insbesondere lassen sich diese Aufgaben in zwei Kategorien einteilen: (1) Modellierung der Interaktionsstruktur, einschließlich der Erkennung von Antworten auf Äußerungen, der Suche nach identischen Sprechern und der Unterscheidung von Zeigerkonsistenz, sowie (2) Modellierung der Äußerungssemantik, einschließlich der Wiederherstellung maskierter gemeinsamer Äußerungen und der Erkennung gemeinsamer Knoten. Wir evaluieren MPC-BERT anhand dreier Downstream-Aufgaben: Adressatenerkennung, Sprecheraufklärung und Antwortauswahl. Die experimentellen Ergebnisse zeigen, dass MPC-BERT die bisherigen Methoden um erhebliche Margen übertrifft und neue Standarts erreicht (state-of-the-art performance) in allen drei Downstream-Aufgaben bei zwei Benchmarks.