Réseaux Neuronaux Pré-Entraînés et Basés sur l'Attention pour la Construction de Systèmes de Dialogue Orientés Tâche et Noétiques

Le défi NOESIS II, qui constitue le volet 2 des 8e Défis de Technologie des Systèmes de Dialogue (DSTC 8), est l'extension du DSTC 7. Ce volet intègre de nouveaux éléments essentiels à la création d'un système de dialogue orienté tâche en déploiement. Cet article décrit nos systèmes évalués sur toutes les sous-tâches de ce défi. Nous examinons le problème de l'utilisation d'un réseau pré-entraîné basé sur l'attention pour les systèmes de dialogue à plusieurs tours. Parallèlement, plusieurs méthodes d'adaptation sont proposées pour adapter les modèles linguistiques pré-entraînés aux systèmes de dialogue à plusieurs tours, afin de conserver la propriété intrinsèque des systèmes de dialogue. Dans les résultats d'évaluation publiés du volet 2 du DSTC 8, nos modèles proposés se sont classés quatrième pour la sous-tâche 1, troisième pour la sous-tâche 2, et premiers pour les sous-tâches 3 et 4 respectivement.