Réseaux de neurones autonomes pour la classification de textes courts en périphérique

Les réseaux neuronaux profonds atteignent des performances de pointe sur une large gamme d'applications traitant du langage naturel, de la vision par ordinateur et de la reconnaissance vocale. Toutefois, l'un des défis majeurs réside dans le déploiement de ces réseaux complexes sur des dispositifs à faible capacité mémoire et à ressources computationnelles limitées, tels que les téléphones portables ou les montres intelligentes. Nous proposons des réseaux neuronaux auto-gouvernés (SGNNs) adaptés aux dispositifs, qui apprennent des vecteurs de projection compacts à l’aide d’un hachage sensible aux localités. L’avantage principal des SGNNs par rapport aux approches existantes est qu’ils éliminent la nécessité d’embeddings pré-entraînés de mots ainsi que de réseaux complexes comportant un très grand nombre de paramètres. Nous menons une évaluation approfondie sur la classification des actes dialogiques et obtenons des améliorations significatives par rapport aux résultats les plus avancés de l’état de l’art. Nos résultats démontrent que les SGNNs sont efficaces pour capturer des représentations sémantiques textuelles à faible dimension tout en préservant une haute précision.