Un modèle BERT simple mais efficace pour le suivi d'état de dialogue sur des systèmes à ressources limitées

Dans un système de dialogue orienté vers une tâche, l’objectif du suivi d’état de dialogue (DST) consiste à surveiller l’état de la conversation à partir de l’historique du dialogue. Récemment, de nombreuses méthodes basées sur l’apprentissage profond ont été proposées pour cette tâche. Malgré leurs performances remarquables, les architectures neuronales actuelles pour le DST sont généralement très complexes à concevoir et conceptuellement sophistiquées, ce qui rend leur mise en œuvre, leur débogage et leur maintenance difficile dans un environnement de production. Dans ce travail, nous proposons un modèle de DST simple mais efficace basé sur BERT. En plus de sa simplicité, notre approche présente plusieurs autres avantages : (a) le nombre de paramètres ne croît pas avec la taille de l’ontologie ; (b) le modèle peut fonctionner dans des situations où l’ontologie du domaine peut évoluer dynamiquement. Les résultats expérimentaux montrent que notre modèle basé sur BERT dépasse largement les méthodes antérieures, atteignant de nouveaux résultats de pointe sur le jeu de données standard WoZ 2.0. Enfin, afin de rendre le modèle suffisamment petit et rapide pour les systèmes à ressources limitées, nous appliquons une méthode de distillation de connaissances pour le compresser. Le modèle final compressé atteint des performances comparables à celles du modèle original tout en étant 8 fois plus petit et 7 fois plus rapide.