MIDAS : Distillation de connaissances multi-niveaux sur l'intention, le domaine et les emplacements pour la compréhension linguistique multi-tours

Bien que les grands modèles linguistiques (LLM) soient capables de générer des textes cohérents, ils peinent souvent à reconnaître l’intention utilisateur derrière les requêtes. À l’inverse, les modèles de compréhension du langage naturel (NLU) interprètent le but et les informations clés des entrées utilisateur afin de permettre des interactions réactives. Les modèles NLU existants cartographient généralement les énoncés sur un cadre sémantique à deux niveaux, comprenant une intention au niveau de la phrase (SI) et des étiquettes au niveau des mots (WS). Toutefois, les conversations du monde réel reposent principalement sur des dialogues à plusieurs tours, nécessitant l’interprétation d’échanges complexes et étendus. Les chercheurs rencontrent des difficultés à traiter toutes les facettes des dialogues multi-tours à l’aide d’un modèle NLU unifié. Ce papier présente MIDAS, une nouvelle approche fondée sur la distillation de connaissances à plusieurs niveaux, incluant l’intention, le domaine et les cases (slots), pour la NLU multi-tours. Nous avons conçu des enseignants distincts pour la détection d’intention (SI), le remplissage des cases (WS) et la classification du domaine au niveau de la conversation (CD), chacun fine-tuné pour une connaissance spécifique. Une perte multi-enseignant est proposée afin de faciliter l’intégration de ces enseignants, guidant ainsi un modèle étudiant dans les tâches de dialogue multi-tours. Les résultats démontrent l’efficacité de notre modèle dans l’amélioration de la compréhension des dialogues multi-tours, mettant en évidence le potentiel d’avancées dans la NLU grâce à la distillation de connaissances dialogiques à plusieurs niveaux. Notre implémentation est mise à disposition sous licence libre sur https://github.com/adlnlp/Midas.