HyperAIHyperAI

Command Palette

Search for a command to run...

Aufmerksamkeitsbasierte rekurrente Neuronale Netzmodelle für die gemeinsame Absichtserkennung und Slot-Füllung

Bing Liu Ian Lane

Zusammenfassung

Aufmerksamkeitsbasierte Encoder-Decoder-Neuronale Netzwerke haben kürzlich vielversprechende Ergebnisse in der maschinellen Übersetzung und Spracherkennung gezeigt. In dieser Arbeit schlagen wir ein aufmerksamkeitsbasiertes neuronales Netzwerkmodell für die gemeinsame Absichtserkennung und Slot-Füllung vor, welche beide kritische Schritte für viele Sprachverarbeitungs- und Dialogsysteme sind. Im Gegensatz zur maschinellen Übersetzung und Spracherkennung ist die Ausrichtung in der Slot-Füllung explizit. Wir untersuchen verschiedene Strategien, um diese Ausrichtungsinformationen in den Encoder-Decoder-Rahmen zu integrieren. Aus den Erkenntnissen des Aufmerksamkeitsmechanismus im Encoder-Decoder-Modell lernend, schlagen wir ferner vor, Aufmerksamkeit in die ausrichtungsbasierten RNN-Modelle einzuführen. Solche Aufmerksamkeiten bieten zusätzliche Informationen für die Klassifikation von Absichten und die Vorhersage von Slot-Beschriftungen. Unsere unabhängigen Task-Modelle erreichen den Stand der Technik in Bezug auf den Fehlerquoten der Absichtserkennung und den F1-Score der Slot-Füllung bei der Benchmark-Aufgabe ATIS. Unser Modell zur gemeinsamen Schulung erzielt darüber hinaus eine absolute Fehlerreduzierung von 0,56 % (relative Reduzierung von 23,8 %) bei der Absichtserkennung und einen absoluten Gewinn von 0,23 % bei der Slot-Füllung im Vergleich zu den unabhängigen Task-Modellen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp