Effektive sequenz-zu-Sequenz Dialogzustandsverfolgung

Sequenz-zu-Sequenz-Modelle wurden auf eine Vielzahl von NLP-Aufgaben angewendet, doch die systematische Untersuchung der geeigneten Anwendung für Dialogue State Tracking (DST) wurde bisher nicht durchgeführt. In diesem Artikel untersuchen wir dieses Problem aus der Perspektive von Pre-Training-Zielfunktionen sowie der Gestaltung von Kontextdarstellungen. Wir zeigen, dass die Wahl der Pre-Training-Zielfunktion einen erheblichen Einfluss auf die Qualität des Zustandsverfolgung hat. Insbesondere stellen wir fest, dass die Vorhersage maskierter Textabschnitte (masked span prediction) effektiver ist als die autoregressive Sprachmodellierung. Außerdem untersuchen wir die Anwendung von Pegasus, einer auf Abschnittsvorhersage basierenden Pre-Training-Zielfunktion für Textzusammenfassung, im Kontext des Zustandsverfolgungsmodells. Dabei zeigt sich, dass das Pre-Training für die scheinbar weit entfernte Aufgabe der Textzusammenfassung überraschend gut für Dialogue State Tracking geeignet ist. Zudem beobachten wir, dass obwohl rekurrente Zustands-Kontextdarstellungen ebenfalls zufriedenstellende Ergebnisse liefern, das Modell Schwierigkeiten haben kann, sich von früheren Fehlern zu erholen. Wir führen Experimente auf den Datensätzen MultiWOZ 2.1–2.4, WOZ 2.0 und DSTC2 durch und erhalten konsistente Beobachtungen.