Aufmerksamkeitsbasierte rekurrente Neuronale Netzmodelle für die gemeinsame Absichtserkennung und Slot-Füllung

Aufmerksamkeitsbasierte Encoder-Decoder-Neuronale Netzwerke haben kürzlich vielversprechende Ergebnisse in der maschinellen Übersetzung und Spracherkennung gezeigt. In dieser Arbeit schlagen wir ein aufmerksamkeitsbasiertes neuronales Netzwerkmodell für die gemeinsame Absichtserkennung und Slot-Füllung vor, welche beide kritische Schritte für viele Sprachverarbeitungs- und Dialogsysteme sind. Im Gegensatz zur maschinellen Übersetzung und Spracherkennung ist die Ausrichtung in der Slot-Füllung explizit. Wir untersuchen verschiedene Strategien, um diese Ausrichtungsinformationen in den Encoder-Decoder-Rahmen zu integrieren. Aus den Erkenntnissen des Aufmerksamkeitsmechanismus im Encoder-Decoder-Modell lernend, schlagen wir ferner vor, Aufmerksamkeit in die ausrichtungsbasierten RNN-Modelle einzuführen. Solche Aufmerksamkeiten bieten zusätzliche Informationen für die Klassifikation von Absichten und die Vorhersage von Slot-Beschriftungen. Unsere unabhängigen Task-Modelle erreichen den Stand der Technik in Bezug auf den Fehlerquoten der Absichtserkennung und den F1-Score der Slot-Füllung bei der Benchmark-Aufgabe ATIS. Unser Modell zur gemeinsamen Schulung erzielt darüber hinaus eine absolute Fehlerreduzierung von 0,56 % (relative Reduzierung von 23,8 %) bei der Absichtserkennung und einen absoluten Gewinn von 0,23 % bei der Slot-Füllung im Vergleich zu den unabhängigen Task-Modellen.