LIDSNet : un modèle léger de détection d'intention en temps réel sur dispositif utilisant un réseau siamois profond

La détection d’intention constitue une tâche essentielle dans tout système de compréhension du langage naturel (NLU) et forme la base d’un système de dialogue orienté vers une tâche. Pour développer des solutions conversationnelles de haute qualité destinées à des dispositifs embarqués dans le monde réel, il est nécessaire de déployer un modèle de détection d’intention directement sur le périphérique. Cela exige un modèle léger, rapide et précis, capable de fonctionner efficacement dans un environnement à ressources limitées. À cet effet, nous proposons LIDSNet, un nouveau modèle léger pour la détection d’intention sur dispositif, qui prédit avec précision l’intention d’un message en exploitant un réseau siamois profond afin d’apprendre des représentations de phrases améliorées. Nous utilisons des caractéristiques au niveau des caractères pour enrichir les représentations au niveau des phrases, et démontrons empiriquement l’avantage de l’apprentissage par transfert grâce à l’utilisation d’embeddings pré-entraînés. En outre, afin d’évaluer l’efficacité des composants de notre architecture, nous menons une étude d’ablation et parvenons à notre modèle optimal. Les résultats expérimentaux montrent que LIDSNet atteint une précision compétitive de pointe, respectivement de 98,00 % et 95,97 % sur les jeux de données publics SNIPS et ATIS, avec moins de 0,59 million de paramètres. Nous comparons également LIDSNet à des modèles BERT ajustés, et montrons que notre modèle est au moins 41 fois plus léger et 30 fois plus rapide en phase d’inférence que MobileBERT sur un appareil Samsung Galaxy S20, ce qui justifie son efficacité sur les dispositifs embarqués à ressources contraintes.