Training auf Zusammenfassungsebene für Satzumformung zur abstraktiven Zusammenfassung

Um die Ansätze der extraktiven und abstraktiven Zusammenfassung zu kombinieren, setzen Sentence Rewriting-Modelle eine Strategie um, bei der zunächst markante Sätze aus einem Dokument extrahiert werden und diese anschließend umformuliert werden, um eine Zusammenfassung zu generieren. Allerdings beruhen die bestehenden Modelle innerhalb dieses Rahmens hauptsächlich auf Satz-Ebene Belohnungen oder suboptimalen Etikettierungen, was zu einer Diskrepanz zwischen dem Trainingsziel und der Evaluationsmetrik führt. In diesem Paper präsentieren wir ein neuartiges Trainingsignal, das direkt die ROUGE-Scores auf Dokumentebene durch Verstärkendes Lernen maximiert. Zudem integrieren wir BERT in unser Modell, um dessen Stärken im Bereich der natürlichen Sprachverstehens optimal auszunutzen. In umfangreichen Experimenten zeigen wir, dass die Kombination unseres vorgeschlagenen Modells und des Trainingsverfahrens sowohl auf den Datensätzen CNN/Daily Mail als auch New York Times neue SOTA-Leistungen erzielt. Außerdem demonstrieren wir, dass das Modell auf dem DUC-2002-Testset eine bessere Generalisierbarkeit aufweist.