BRIO: Ordnung in die abstraktive Zusammenfassung bringen

Abstractive Summarisierungsmodelle werden üblicherweise mittels Maximum-Likelihood-Schätzung trainiert, wobei eine deterministische (einkomponentige) Zielverteilung angenommen wird, bei der ein ideales Modell die gesamte Wahrscheinlichkeitsmasse auf die Referenzzusammenfassung konzentriert. Diese Annahme kann zu einer Leistungseinbuße während der Inferenz führen, wenn das Modell mehrere systemgenerierte (Kandidaten-)Zusammenfassungen vergleichen muss, die sich von der Referenzzusammenfassung unterscheiden. Um dieses Problem anzugehen, schlagen wir ein neuartiges Trainingsparadigma vor, das eine nicht-deterministische Verteilung annimmt, sodass verschiedenen Kandidaten-Zusammenfassungen je nach ihrer Qualität unterschiedliche Wahrscheinlichkeitsmassen zugewiesen werden. Unsere Methode erreicht eine neue State-of-the-Art-Leistung auf den Datensätzen CNN/DailyMail (47,78 ROUGE-1) und XSum (49,07 ROUGE-1). Eine weitere Analyse zeigt zudem, dass unser Modell die Wahrscheinlichkeiten von Kandidaten-Zusammenfassungen besser mit ihrem Qualitätsniveau korrelieren lässt.