HyperAIHyperAI

Command Palette

Search for a command to run...

FANS: Fusions von ASR und NLU für SLU auf Geräten

Martin Radfar Athanasios Mouchtaris Siegfried Kunzmann Ariya Rastrow

Zusammenfassung

Sprachverstehenssysteme (Spoken Language Understanding, SLU) übersetzen Spracheingabebefehle in Semantik, die als Absicht (intent) sowie Paare aus Slot-Tags und -Werten codiert werden. Die meisten aktuellen SLU-Systeme setzen auf eine Kaskade aus zwei neuronalen Modellen, wobei das erste Modell die Eingabesprache in einen Transkript (ASR: Automatic Speech Recognition) umwandelt und das zweite Modell aus dem Transkript die Absicht und die Slots vorhersagt (NLU: Natural Language Understanding). In diesem Artikel stellen wir FANS vor, ein neuartiges end-to-end SLU-Modell, das einen ASR-Audio-Encoder mit einem Multi-Task-NLU-Decoder fusioniert, um Absicht, Slot-Tags und Slot-Werte direkt aus der Eingabesprache abzuleiten, wodurch die Notwendigkeit einer Transkription entfällt. FANS besteht aus einem gemeinsamen Audio-Encoder und drei Decodern, wobei zwei davon sequenz-zu-Sequenz-Decodierer sind, die nicht-null Slot-Tags und Slot-Werte parallel und in autoregressiver Weise vorhersagen. Die Architektur des neuronalen Encoders und der Decodierer von FANS ist flexibel und ermöglicht die Nutzung verschiedener Kombinationen aus LSTM, Self-Attention und Attendern. Unsere Experimente zeigen, dass FANS im Vergleich zu aktuellen state-of-the-art end-to-end SLU-Modellen bei Tests auf einem internen SLU-Datensatz die ICER- und IRER-Fehler relativ um jeweils 30 % und 7 % reduziert, und bei Tests auf einem öffentlichen SLU-Datensatz um 0,86 % und 2 % absolut.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp