HyperAIHyperAI

Command Palette

Search for a command to run...

LIDSNet: Ein leichtgewichtiger Intentionserkennungsmodell für Geräte mit tiefem Siamese-Netzwerk

Vibhav Agarwal Sudeep Deepak Shivnikar Sourav Ghosh Himanshu Arora Yashwant Saini

Zusammenfassung

Die Intent-Erkennung ist eine zentrale Aufgabe in jedem Natural Language Understanding (NLU)-System und bildet die Grundlage für dialogbasierte, auf Aufgaben ausgerichtete Systeme. Um hochwertige, realwelttaugliche Gesprächslösungen für Edge-Geräte zu entwickeln, ist die Bereitstellung von Intent-Erkennungsmodellen direkt auf dem Gerät erforderlich. Dies erfordert ein leichtgewichtiges, schnelles und genaues Modell, das effizient in ressourcenbeschränkten Umgebungen funktioniert. Hierfür schlagen wir LIDSNet vor – ein neuartiges, leichtgewichtiges Modell zur Intent-Erkennung direkt auf Geräten –, das die Absicht einer Nachricht präzise vorhersagt, indem es ein tiefes Siamese-Netzwerk nutzt, um verbesserte Satzrepräsentationen zu lernen. Wir integrieren zeichenbasierte Merkmale, um die Satzrepräsentationen zu bereichern, und zeigen empirisch die Vorteile des Transfer-Lernens durch die Nutzung vortrainierter Embeddings. Darüber hinaus führen wir eine Ablationsstudie durch, um die Wirksamkeit der einzelnen Bausteine unserer Architektur zu untersuchen, und identifizieren unser optimales Modell. Experimentelle Ergebnisse belegen, dass LIDSNet eine state-of-the-art-Wettbewerbsfähigkeit erzielt: eine Genauigkeit von 98,00 % auf dem SNIPS- und 95,97 % auf dem ATIS-Datensatz, jeweils mit unter 0,59 Mio. Parametern. Zudem vergleichen wir LIDSNet mit fine-tuneten BERT-Modellen und zeigen, dass unser Modell auf dem Samsung Galaxy S20-Gerät mindestens 41-mal leichter und 30-mal schneller bei der Inferenz ist als MobileBERT, was seine Effizienz in ressourcenbeschränkten Edge-Umgebungen nachweist.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
LIDSNet: Ein leichtgewichtiger Intentionserkennungsmodell für Geräte mit tiefem Siamese-Netzwerk | Paper | HyperAI