Faktorisierung von Inhalt und Budgetentscheidungen in der abstraktiven Zusammenfassung langer Dokumente

Wir argumentieren, dass die Trennung der Inhaltsauswahl von dem Budget, das zur Abdeckung hervorstechender Inhalte verwendet wird, die Leistungsfähigkeit und Anwendbarkeit abstraktiver Zusammenfassungsmodelle verbessert. Unser Ansatz, FactorSum, realisiert diese Trennung durch eine Faktorisierung der Zusammenfassung in zwei Schritte mittels einer Energiefunktion: (1) Erzeugung abstrakter Zusammenfassungsansichten; (2) Kombination dieser Ansichten zu einer endgültigen Zusammenfassung unter Berücksichtigung eines Budgets und inhaltlicher Anleitung. Diese Anleitung kann aus verschiedenen Quellen stammen, beispielsweise aus einem Beratermodell wie BART oder BigBird, oder im Oracle-Modus – direkt aus der Referenzzusammenfassung. Diese Faktorisierung erreicht signifikant höhere ROUGE-Scores auf mehreren Benchmarks für die Zusammenfassung langer Dokumente, nämlich PubMed, arXiv und GovReport. Besonders hervorzuheben ist, dass unser Modell auch für den Bereich der Domänenanpassung wirksam ist. Wenn es ausschließlich auf PubMed-Daten trainiert wird, erzielt es auf arXiv einen ROUGE-1-Score von 46,29, was auf eine starke Leistung hindeutet, verursacht durch eine flexiblere Anpassung des Budgets und eine Inhaltsauswahl, die weniger von domänenspezifischen Textstrukturen abhängt.