AuGPT : Tâches auxiliaires et augmentation de données pour le dialogue de bout en bout avec des modèles de langage pré-entraînés

Les modèles de langage pré-entraînés basés sur l'attention, tels que GPT-2, ont apporté des progrès considérables à la modélisation de dialogue de bout en bout. Cependant, ils présentent également des risques importants pour le dialogue orienté vers les tâches, notamment un manque d'ancrage dans la connaissance ou de diversité. Pour remédier à ces problèmes, nous introduisons des objectifs d'entraînement modifiés pour l'affinage des modèles de langage et nous utilisons une augmentation massive des données par rétro-traduction afin d'augmenter la diversité des données d'entraînement. Nous examinons également les possibilités de combiner des données provenant de multiples sources pour améliorer les performances sur l'ensemble cible. Nous évaluons soigneusement nos contributions à l'aide de méthodes humaines et automatiques. Notre modèle dépasse largement la ligne de base sur les données MultiWOZ et montre des performances compétitives avec l'état de l'art, tant dans les évaluations automatiques que humaines.