Une architecture hybride pour la détection et la découverte d'intentions hors domaine

La détection d'intention est l'une des tâches de l'unité de compréhension du langage naturel (NLU) dans les systèmes de dialogue orientés vers une tâche. Les entrées hors champ (Out of Scope, OOS) et hors domaine (Out of Domain, OOD) peuvent poser des problèmes à ces systèmes. De plus, un ensemble de données étiqueté est nécessaire pour entraîner un modèle de détection d'intention dans les systèmes de dialogue orientés vers une tâche. La création d'un tel ensemble de données est fastidieuse et nécessite des ressources humaines. Le but de cet article est d'aborder ces problèmes mentionnés.La tâche d'identification des entrées OOD/OOS est appelée détection d'intention OOD/OOS. De plus, la découverte de nouvelles intentions et l'étiquetage pseudo-automatique des entrées OOD sont bien connus sous le nom de découverte d'intention. Dans la partie détection d'intention OOD, nous utilisons un autoencodeur variationnel pour distinguer entre les intentions connues et inconnues, indépendamment de la distribution des données d'entrée. Ensuite, une méthode de clustering non supervisée est appliquée pour découvrir différentes intentions inconnues sous-jacentes aux entrées OOD/OOS. Nous effectuons également une réduction non linéaire de la dimensionalité sur les représentations OOD/OOS afin que les distances entre les représentations soient plus significatives pour le clustering.Nos résultats montrent que le modèle proposé pour la détection d'intention OOD/OOS et la découverte d'intention obtient des performances excellentes et dépasse les baselines en anglais et en persan.