Command Palette
Search for a command to run...
Leitende Aufmerksamkeit in Sequenz-zu-Sequenz-Modellen für die Dialogaktvorhersage
Leitende Aufmerksamkeit in Sequenz-zu-Sequenz-Modellen für die Dialogaktvorhersage
Pierre Colombo Emile Chapuis Matteo Manica Emmanuel Vignon Giovanna Varni Chloe Clavel
Zusammenfassung
Die Aufgabe der Vorhersage von Dialogakten (Dialog Acts, DA) basierend auf konversationellen Dialogen ist eine zentrale Komponente bei der Entwicklung von conversational agents. Eine genaue Vorhersage von DAs erfordert eine präzise Modellierung sowohl des Dialogverlaufs als auch der globalen Abhängigkeiten zwischen den Tags. In diesem Werk nutzen wir seq2seq-Ansätze, die in der neuronalen Maschinenübersetzung (Neural Machine Translation, NMT) weit verbreitet sind, um die Modellierung der Tag-Sequenzialität zu verbessern. Seq2seq-Modelle sind bekannt dafür, komplexe globale Abhängigkeiten zu lernen, während aktuell vorgeschlagene Ansätze, die lineare bedingte zufällige Felder (CRF) verwenden, lediglich lokale Tag-Abhängigkeiten modellieren. In dieser Arbeit stellen wir ein auf DA-Klassifikation zugeschnittenes seq2seq-Modell vor, das einen hierarchischen Encoder, eine neuartige geführte Aufmerksamkeitsmechanik sowie die Anwendung des Beam-Search sowohl beim Training als auch bei der Inferenz integriert. Im Vergleich zum Stand der Technik benötigt unser Modell keine hand-kodierten Merkmale und wird end-to-end trainiert. Darüber hinaus erreicht der vorgeschlagene Ansatz eine bisher unerreichte Genauigkeit von 85 % auf dem SwDA-Datensatz und einen state-of-the-art-Wert von 91,6 % auf dem MRDA-Datensatz.