Verbesserung der neuronalen abstraktiven Dokumentzusammenfassung durch strukturelle Regularisierung

Neuere neuronale sequenz-zu-Sequenz-Modelle haben erhebliche Fortschritte bei der Zusammenfassung kurzer Texte erzielt. Für die Dokumentzusammenfassung gelingt es ihnen jedoch nicht, die langfristige Struktur sowohl von Dokumenten als auch von mehrsatzbasierten Zusammenfassungen angemessen zu erfassen, was zu Informationsverlust und Wiederholungen führt. In diesem Artikel schlagen wir vor, die strukturellen Eigenschaften sowohl von Dokumenten als auch von mehrsatzbasierten Zusammenfassungen zu nutzen, um die Leistung der Dokumentzusammenfassung zu verbessern. Konkret integrieren wir sowohl eine strukturelle Kompression als auch eine strukturelle Abdeckungsregularisierung in den Zusammenfassungsprozess, um die beiden wichtigsten strukturellen Eigenschaften der Dokumentzusammenfassung – Informationskompression und Informationsabdeckung – besser zu erfassen. Experimentelle Ergebnisse zeigen, dass die strukturelle Regularisierung die Leistung der Dokumentzusammenfassung erheblich verbessert und unser Modell somit informativere und kürzere Zusammenfassungen generieren kann, wodurch es state-of-the-art neuronale abstraktive Methoden signifikant übertrifft.