HyperAIHyperAI

Command Palette

Search for a command to run...

MISCA: Ein gemeinsames Modell zur Mehrfach-Intentionserkennung und Slot-Füllung mit Intention-Slot-Co-Attention

Thinh Pham Chi Tran Dat Quoc Nguyen

Zusammenfassung

Die Forschung zu der Erkennung mehrerer Intentionen und der Füllung von Slots gewinnt zunehmend an Bedeutung, da sie für komplexe realweltrelevante Situationen von zentraler Bedeutung ist. Moderne fortschrittliche Ansätze, die auf graphbasierten gemeinsamen Modellen beruhen, könnten dennoch zwei potenzielle Probleme aufweisen: (i) die Unsicherheit, die durch die Konstruktion von Graphen auf Basis vorläufiger Intentionen und Slots entsteht, wodurch Korrelationsinformationen zwischen Intentionen und Slots möglicherweise zu falschen Knoten im Label-Graphen transferiert werden können, und (ii) die direkte Einbeziehung mehrerer Intentionen pro Token im Rahmen einer tokenbasierten Intentionen-Abstimmung könnte zu fehlerhaften Slot-Vorhersagen führen, was die Gesamtleistung beeinträchtigt. Um diese beiden Probleme anzugehen, schlagen wir ein gemeinsames Modell namens MISCA vor. MISCA führt eine Intention-Slot-Co-Attention-Mechanismen sowie eine zugrundeliegende Schicht mit Label-Attention-Mechanismen ein. Diese Mechanismen ermöglichen es MISCA, Korrelationen zwischen Intentionen und Slot-Labels effektiv zu erfassen, wodurch die Konstruktion von Graphen entfällt. Zudem fördern sie den bidirektionalen Transfer von Korrelationsinformationen – sowohl von Intentionen zu Slots als auch umgekehrt – über mehrere Ebenen spezifischer Label-Repräsentationen, ohne auf tokenbasierte Intentioneninformationen angewiesen zu sein. Experimentelle Ergebnisse zeigen, dass MISCA bisherige Modelle übertrifft und auf zwei Benchmark-Datensätzen, MixATIS und MixSNIPS, neue SOTA-Leistungen (state-of-the-art) in Bezug auf die Gesamtgenauigkeit erzielt. Dies unterstreicht die Wirksamkeit unserer Aufmerksamkeitsmechanismen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
MISCA: Ein gemeinsames Modell zur Mehrfach-Intentionserkennung und Slot-Füllung mit Intention-Slot-Co-Attention | Paper | HyperAI