LIDSNet: Ein leichtgewichtiger Intentionserkennungsmodell für Geräte mit tiefem Siamese-Netzwerk

Die Intent-Erkennung ist eine zentrale Aufgabe in jedem Natural Language Understanding (NLU)-System und bildet die Grundlage für dialogbasierte, auf Aufgaben ausgerichtete Systeme. Um hochwertige, realwelttaugliche Gesprächslösungen für Edge-Geräte zu entwickeln, ist die Bereitstellung von Intent-Erkennungsmodellen direkt auf dem Gerät erforderlich. Dies erfordert ein leichtgewichtiges, schnelles und genaues Modell, das effizient in ressourcenbeschränkten Umgebungen funktioniert. Hierfür schlagen wir LIDSNet vor – ein neuartiges, leichtgewichtiges Modell zur Intent-Erkennung direkt auf Geräten –, das die Absicht einer Nachricht präzise vorhersagt, indem es ein tiefes Siamese-Netzwerk nutzt, um verbesserte Satzrepräsentationen zu lernen. Wir integrieren zeichenbasierte Merkmale, um die Satzrepräsentationen zu bereichern, und zeigen empirisch die Vorteile des Transfer-Lernens durch die Nutzung vortrainierter Embeddings. Darüber hinaus führen wir eine Ablationsstudie durch, um die Wirksamkeit der einzelnen Bausteine unserer Architektur zu untersuchen, und identifizieren unser optimales Modell. Experimentelle Ergebnisse belegen, dass LIDSNet eine state-of-the-art-Wettbewerbsfähigkeit erzielt: eine Genauigkeit von 98,00 % auf dem SNIPS- und 95,97 % auf dem ATIS-Datensatz, jeweils mit unter 0,59 Mio. Parametern. Zudem vergleichen wir LIDSNet mit fine-tuneten BERT-Modellen und zeigen, dass unser Modell auf dem Samsung Galaxy S20-Gerät mindestens 41-mal leichter und 30-mal schneller bei der Inferenz ist als MobileBERT, was seine Effizienz in ressourcenbeschränkten Edge-Umgebungen nachweist.