HyperAIHyperAI

Command Palette

Search for a command to run...

Gemeinsame Detektion mehrerer Absichten und Slot-Füllung mit überwachtem kontrastivem Lernen und Selbst-Distillation

Nguyen Anh Tu Hoang Thi Thu Uyen Tu Minh Phuong Ngo Xuan Bach

Zusammenfassung

Mehrfachabsichtserkennung und Slot-Füllung sind zwei grundlegende und entscheidende Aufgaben im Bereich des Sprachverstehens. Ausgehend von der Tatsache, dass diese beiden Aufgaben eng miteinander verknüpft sind, werden gemeinsame Modelle bevorzugt, die Absichten und Slots gleichzeitig erkennen können, anstatt getrennte Modelle, die jeweils nur eine Aufgabe unabhängig bearbeiten. Die Genauigkeit eines gemeinsamen Modells hängt maßgeblich von der Fähigkeit des Modells ab, Informationen zwischen den beiden Aufgaben zu übertragen, sodass das Ergebnis einer Aufgabe das Ergebnis der anderen korrigieren kann. Darüber hinaus stellt sich bei gemeinsamen Modellen mit mehreren Ausgaben die Herausforderung, das Modell effektiv zu trainieren. In diesem Paper präsentieren wir eine Methode zur Mehrfachabsichtserkennung und Slot-Füllung, die diese Herausforderungen adressiert. Erstens schlagen wir ein bidirektionales gemeinsames Modell vor, das Absichtsinformationen explizit zur Erkennung von Slots und Slot-Features zur Absichtserkennung nutzt. Zweitens führen wir eine neuartige Trainingsmethode für das vorgeschlagene gemeinsame Modell mittels überwachten kontrastiven Lernens und Selbst-Distillation ein. Experimentelle Ergebnisse auf zwei Benchmark-Datensätzen, MixATIS und MixSNIPS, zeigen, dass unsere Methode sowohl in der Absichtserkennung als auch in der Slot-Füllung gegenüber aktuellen State-of-the-Art-Modellen übertrifft. Die Ergebnisse belegen zudem den Beitrag sowohl der bidirektionalen Architektur als auch der Trainingsmethode zur Verbesserung der Genauigkeit. Der Quellcode ist unter https://github.com/anhtunguyen98/BiSLU verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp