MISCA: Ein gemeinsames Modell zur Mehrfach-Intentionserkennung und Slot-Füllung mit Intention-Slot-Co-Attention

Die Forschung zu der Erkennung mehrerer Intentionen und der Füllung von Slots gewinnt zunehmend an Bedeutung, da sie für komplexe realweltrelevante Situationen von zentraler Bedeutung ist. Moderne fortschrittliche Ansätze, die auf graphbasierten gemeinsamen Modellen beruhen, könnten dennoch zwei potenzielle Probleme aufweisen: (i) die Unsicherheit, die durch die Konstruktion von Graphen auf Basis vorläufiger Intentionen und Slots entsteht, wodurch Korrelationsinformationen zwischen Intentionen und Slots möglicherweise zu falschen Knoten im Label-Graphen transferiert werden können, und (ii) die direkte Einbeziehung mehrerer Intentionen pro Token im Rahmen einer tokenbasierten Intentionen-Abstimmung könnte zu fehlerhaften Slot-Vorhersagen führen, was die Gesamtleistung beeinträchtigt. Um diese beiden Probleme anzugehen, schlagen wir ein gemeinsames Modell namens MISCA vor. MISCA führt eine Intention-Slot-Co-Attention-Mechanismen sowie eine zugrundeliegende Schicht mit Label-Attention-Mechanismen ein. Diese Mechanismen ermöglichen es MISCA, Korrelationen zwischen Intentionen und Slot-Labels effektiv zu erfassen, wodurch die Konstruktion von Graphen entfällt. Zudem fördern sie den bidirektionalen Transfer von Korrelationsinformationen – sowohl von Intentionen zu Slots als auch umgekehrt – über mehrere Ebenen spezifischer Label-Repräsentationen, ohne auf tokenbasierte Intentioneninformationen angewiesen zu sein. Experimentelle Ergebnisse zeigen, dass MISCA bisherige Modelle übertrifft und auf zwei Benchmark-Datensätzen, MixATIS und MixSNIPS, neue SOTA-Leistungen (state-of-the-art) in Bezug auf die Gesamtgenauigkeit erzielt. Dies unterstreicht die Wirksamkeit unserer Aufmerksamkeitsmechanismen.