Selbstverwaltende neuronale Netze für die Klassifikation kurzer Texte auf Geräten

Tiefes neuronales Netzwerk erreicht für eine breite Palette von Anwendungen im Bereich Natürliche Sprachverarbeitung, Computer Vision und Spracherkennung Spitzenleistung. Dennoch stellt die Ausführung dieser komplexen Netzwerke auf Geräten mit geringem Speicherbedarf und begrenzter Rechenkapazität – wie beispielsweise Mobiltelefonen oder Smartwatches – eine der größten Herausforderungen dar. Wir stellen On-Device Self-Governing Neural Networks (SGNNs) vor, die kompakte Projektionsvektoren mittels lokaler sensibler Hashing (local sensitive hashing) lernen. Der entscheidende Vorteil von SGNNs gegenüber bestehenden Ansätzen liegt darin, dass sie weder vorab trainierte Wort-Embeddings noch komplexe Netzwerke mit einer großen Anzahl an Parametern benötigen. Wir führen umfangreiche Evaluierungen im Bereich der Dialogakt-Klassifikation durch und zeigen eine signifikante Verbesserung gegenüber den aktuellen State-of-the-Art-Ergebnissen. Unsere Ergebnisse belegen, dass SGNNs effektiv sind, um semantische Textdarstellungen in niedrigen Dimensionen zu erfassen, während gleichzeitig eine hohe Genauigkeit erhalten bleibt.