PEGASUS: Pre-training mit extrahierten Gap-Sentences für abstraktive Zusammenfassung

Neuere Arbeiten, die Transformers mit selbstüberwachten Zielfunktionen auf großen Textkorpora vortrainieren, haben bei der Feinabstimmung auf nachgeschaltete NLP-Aufgaben, einschließlich Textzusammenfassung, erheblichen Erfolg gezeigt. Allerdings wurden bisher selbstüberwachte Vortrainingsziele, die speziell auf abstraktive Textzusammenfassung abgestimmt sind, nicht systematisch erforscht. Zudem besteht ein Mangel an umfassenden, systematischen Evaluationen über verschiedene Domänen hinweg. In dieser Arbeit schlagen wir vor, große, auf Transformers basierende Encoder-Decoder-Modelle auf riesigen Textkorpora mit einer neuen selbstüberwachten Zielfunktion vorzutrainieren. In PEGASUS werden wichtige Sätze aus einem Eingabedokument entfernt bzw. maskiert und gemeinsam als eine einzige Ausgabefolge aus den verbleibenden Sätzen generiert – ein Ansatz, der einer extraktiven Zusammenfassung ähnelt. Wir evaluierten unser bestes PEGASUS-Modell auf 12 nachgeschalteten Zusammenfassungsaufgaben, die sich über Nachrichten, Wissenschaft, Geschichten, Anleitungen, E-Mails, Patente und gesetzliche Gesetzesentwürfe erstrecken. Experimente zeigen, dass das Modell auf allen 12 nachgeschalteten Datensätzen Spitzenleistung erzielt, gemessen an ROUGE-Scores. Außerdem zeigt unser Modell überraschend gute Leistung bei Aufgaben mit geringen Ressourcen und übertrifft auf sechs Datensätzen mit lediglich 1000 Beispielen die bisherigen SOTA-Ergebnisse. Schließlich validierten wir unsere Ergebnisse mittels menschlicher Evaluation und zeigen, dass die Zusammenfassungen unseres Modells auf mehreren Datensätzen menschliche Leistung erreichen.