Le Corpus de Dialogue Ubuntu : Un Grand Ensemble de Données pour la Recherche sur les Systèmes de Dialogue Multitour Non Structurés

Ce document présente le corpus de dialogue Ubuntu, un ensemble de données comprenant près d'un million de dialogues à plusieurs tours, avec un total de plus de 7 millions d'énoncés et 100 millions de mots. Cette ressource offre une opportunité unique pour la recherche visant à développer des gestionnaires de dialogue basés sur des modèles de langage neuronaux capables d'exploiter de grandes quantités de données non étiquetées. Le jeu de données combine à la fois la propriété des dialogues à plusieurs tours présents dans les ensembles de données du Défi de Suivi d'État du Dialogue (Dialog State Tracking Challenge) et la nature non structurée des interactions provenant de services tels que Twitter (microblog). Nous décrivons également deux architectures d'apprentissage neuronal adaptées à l'analyse de ce corpus, et fournissons des performances de référence pour la tâche consistant à sélectionner la meilleure réponse suivante.