BART: Denoising Sequence-to-Sequence Pre-training für die natürliche Sprachgenerierung, Übersetzung und Verständnis

Wir präsentieren BART, einen Denoisings-Autoencoder zur Vortrainierung von sequenz-zu-Sequenz-Modellen. BART wird durch (1) das Verunreinigen von Text mit einer beliebigen Rauschfunktion und (2) das Lernen eines Modells zur Rekonstruktion des ursprünglichen Textes trainiert. Es nutzt eine standardisierte Transformer-basierte Architektur für maschinelle Übersetzung, die – trotz ihrer Einfachheit – als Verallgemeinerung von BERT (durch den bidirektionalen Encoder), GPT (mit dem links-nach-rechts-Decoder) und zahlreichen anderen jüngeren Vortrainingsansätzen angesehen werden kann. Wir evaluieren verschiedene Rauschansätze und finden, dass die beste Leistung durch zufälliges Umordnen der Reihenfolge der ursprünglichen Sätze sowie durch eine neuartige In-Filling-Strategie erzielt wird, bei der Textabschnitte durch einen einzigen Maskentoken ersetzt werden. BART erweist sich besonders effektiv bei der Feinabstimmung für Textgenerierungsaufgaben, funktioniert jedoch auch gut bei Verstehensaufgaben. Auf GLUE und SQuAD erreicht BART eine Leistung, die der von RoBERTa mit vergleichbaren Trainingsressourcen entspricht, und erzielt neue SOTA-Ergebnisse bei einer Reihe von abstraktiven Dialog-, Fragebeantwortungs- und Zusammenfassungsaufgaben, wobei die ROUGE-Werte bis zu 6 Punkte steigen. Zudem erzielt BART gegenüber einem Back-Translation-System für maschinelle Übersetzung eine Verbesserung um 1,1 BLEU, wobei lediglich eine Vortrainierung im Zielsprachraum erforderlich ist. Außerdem berichten wir über Ablationsstudien, in denen andere Vortrainingsansätze innerhalb des BART-Rahmens repliziert werden, um besser zu quantifizieren, welche Faktoren die Endaufgabenleistung am stärksten beeinflussen.