HyperAIHyperAI

Command Palette

Search for a command to run...

Leitende Aufmerksamkeit in Sequenz-zu-Sequenz-Modellen für die Dialogaktvorhersage

Pierre Colombo Emile Chapuis Matteo Manica Emmanuel Vignon Giovanna Varni Chloe Clavel

Zusammenfassung

Die Aufgabe der Vorhersage von Dialogakten (Dialog Acts, DA) basierend auf konversationellen Dialogen ist eine zentrale Komponente bei der Entwicklung von conversational agents. Eine genaue Vorhersage von DAs erfordert eine präzise Modellierung sowohl des Dialogverlaufs als auch der globalen Abhängigkeiten zwischen den Tags. In diesem Werk nutzen wir seq2seq-Ansätze, die in der neuronalen Maschinenübersetzung (Neural Machine Translation, NMT) weit verbreitet sind, um die Modellierung der Tag-Sequenzialität zu verbessern. Seq2seq-Modelle sind bekannt dafür, komplexe globale Abhängigkeiten zu lernen, während aktuell vorgeschlagene Ansätze, die lineare bedingte zufällige Felder (CRF) verwenden, lediglich lokale Tag-Abhängigkeiten modellieren. In dieser Arbeit stellen wir ein auf DA-Klassifikation zugeschnittenes seq2seq-Modell vor, das einen hierarchischen Encoder, eine neuartige geführte Aufmerksamkeitsmechanik sowie die Anwendung des Beam-Search sowohl beim Training als auch bei der Inferenz integriert. Im Vergleich zum Stand der Technik benötigt unser Modell keine hand-kodierten Merkmale und wird end-to-end trainiert. Darüber hinaus erreicht der vorgeschlagene Ansatz eine bisher unerreichte Genauigkeit von 85 % auf dem SwDA-Datensatz und einen state-of-the-art-Wert von 91,6 % auf dem MRDA-Datensatz.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp