HyperAIHyperAI

Command Palette

Search for a command to run...

Effektive sequenz-zu-Sequenz Dialogzustandsverfolgung

Jeffrey Zhao Mahdis Mahdieh Ye Zhang Yuan Cao Yonghui Wu

Zusammenfassung

Sequenz-zu-Sequenz-Modelle wurden auf eine Vielzahl von NLP-Aufgaben angewendet, doch die systematische Untersuchung der geeigneten Anwendung für Dialogue State Tracking (DST) wurde bisher nicht durchgeführt. In diesem Artikel untersuchen wir dieses Problem aus der Perspektive von Pre-Training-Zielfunktionen sowie der Gestaltung von Kontextdarstellungen. Wir zeigen, dass die Wahl der Pre-Training-Zielfunktion einen erheblichen Einfluss auf die Qualität des Zustandsverfolgung hat. Insbesondere stellen wir fest, dass die Vorhersage maskierter Textabschnitte (masked span prediction) effektiver ist als die autoregressive Sprachmodellierung. Außerdem untersuchen wir die Anwendung von Pegasus, einer auf Abschnittsvorhersage basierenden Pre-Training-Zielfunktion für Textzusammenfassung, im Kontext des Zustandsverfolgungsmodells. Dabei zeigt sich, dass das Pre-Training für die scheinbar weit entfernte Aufgabe der Textzusammenfassung überraschend gut für Dialogue State Tracking geeignet ist. Zudem beobachten wir, dass obwohl rekurrente Zustands-Kontextdarstellungen ebenfalls zufriedenstellende Ergebnisse liefern, das Modell Schwierigkeiten haben kann, sich von früheren Fehlern zu erholen. Wir führen Experimente auf den Datensätzen MultiWOZ 2.1–2.4, WOZ 2.0 und DSTC2 durch und erhalten konsistente Beobachtungen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp