Le Jeu de Données de Dialogue StatCan : Récupération de Tableaux de Données par des Conversations avec des Intentions Authentiques

Nous présentons le jeu de données de dialogue StatCan, composé de 19 379 échanges conversationnels entre des agents travaillant à Statistique Canada et des utilisateurs en ligne recherchant des tableaux de données publiés. Ces conversations découlent d'intentions réelles, se déroulent en anglais ou en français, et aboutissent à la récupération par les agents d'un des plus de 5 000 tableaux de données complexes. À partir de ce jeu de données, nous proposons deux tâches : (1) la récupération automatique de tableaux pertinents au cours d'une conversation en cours, et (2) la génération automatique de réponses appropriées des agents à chaque tour. Nous examinons la difficulté de chaque tâche en établissant des lignes de base solides. Nos expériences sur une division temporelle des données montrent que tous les modèles peinent à généraliser aux conversations futures, comme en témoigne une baisse significative des performances pour les deux tâches lors du passage du jeu de validation au jeu de test. De plus, nous constatons que les modèles de génération de réponses ont du mal à décider quand renvoyer un tableau. Étant donné que ces tâches posent des défis importants aux modèles existants, nous encourageons la communauté à développer des modèles pour notre tâche, qui peuvent être directement utilisés pour aider les travailleurs du savoir à trouver des tableaux pertinents pour les utilisateurs du chat en direct.