BART : Pré-entraînement débruitant séquence-à-séquence pour la génération de langage naturel, la traduction et la compréhension

Nous présentons BART, un autoencodeur débruitant conçu pour l'entraînement préalable de modèles séquence-à-séquence. BART est entraîné en (1) altérant le texte à l'aide d'une fonction d'ajout arbitraire de bruit, puis en (2) apprenant un modèle capable de reconstruire le texte d'origine. Il repose sur une architecture standard basée sur les Transformers, utilisée pour la traduction automatique, qui, malgré sa simplicité, peut être vue comme une généralisation de BERT (grâce à son encodeur bidirectionnel), de GPT (avec son décodeur de gauche à droite), ainsi que de nombreuses autres méthodes d'entraînement préalable plus récentes. Nous évaluons plusieurs approches d'ajout de bruit, et trouvons que les meilleures performances sont obtenues en mélangeant aléatoirement l'ordre des phrases d'origine et en utilisant un nouveau schéma d'insertion (in-filling), où des segments de texte sont remplacés par un unique jeton masque. BART s'avère particulièrement efficace lorsqu'il est affiné pour la génération de texte, mais fonctionne également très bien sur des tâches de compréhension. Il atteint des performances équivalentes à celles de RoBERTa, avec des ressources d'entraînement comparables, sur les benchmarks GLUE et SQuAD, et établit de nouveaux états de l'art sur une série de tâches abstraites telles que la dialogue abstraite, la question-réponse et la synthèse de texte, avec des gains pouvant atteindre 6 points ROUGE. BART améliore également de 1,1 point la métrique BLEU par rapport à un système de traduction par rétro-traduction, en n'utilisant qu'un entraînement préalable sur la langue cible. Enfin, nous présentons des expériences d'ablation qui reproduisent d'autres schémas d'entraînement préalable dans le cadre de BART, afin d'évaluer plus précisément les facteurs qui influencent le plus les performances sur les tâches finales.