Gemeinsame Detektion mehrerer Absichten und Slot-Füllung mit überwachtem kontrastivem Lernen und Selbst-Distillation

Mehrfachabsichtserkennung und Slot-Füllung sind zwei grundlegende und entscheidende Aufgaben im Bereich des Sprachverstehens. Ausgehend von der Tatsache, dass diese beiden Aufgaben eng miteinander verknüpft sind, werden gemeinsame Modelle bevorzugt, die Absichten und Slots gleichzeitig erkennen können, anstatt getrennte Modelle, die jeweils nur eine Aufgabe unabhängig bearbeiten. Die Genauigkeit eines gemeinsamen Modells hängt maßgeblich von der Fähigkeit des Modells ab, Informationen zwischen den beiden Aufgaben zu übertragen, sodass das Ergebnis einer Aufgabe das Ergebnis der anderen korrigieren kann. Darüber hinaus stellt sich bei gemeinsamen Modellen mit mehreren Ausgaben die Herausforderung, das Modell effektiv zu trainieren. In diesem Paper präsentieren wir eine Methode zur Mehrfachabsichtserkennung und Slot-Füllung, die diese Herausforderungen adressiert. Erstens schlagen wir ein bidirektionales gemeinsames Modell vor, das Absichtsinformationen explizit zur Erkennung von Slots und Slot-Features zur Absichtserkennung nutzt. Zweitens führen wir eine neuartige Trainingsmethode für das vorgeschlagene gemeinsame Modell mittels überwachten kontrastiven Lernens und Selbst-Distillation ein. Experimentelle Ergebnisse auf zwei Benchmark-Datensätzen, MixATIS und MixSNIPS, zeigen, dass unsere Methode sowohl in der Absichtserkennung als auch in der Slot-Füllung gegenüber aktuellen State-of-the-Art-Modellen übertrifft. Die Ergebnisse belegen zudem den Beitrag sowohl der bidirektionalen Architektur als auch der Trainingsmethode zur Verbesserung der Genauigkeit. Der Quellcode ist unter https://github.com/anhtunguyen98/BiSLU verfügbar.