Konvexe Aggregation für Meinungszusammenfassung

Kürzliche Fortschritte bei Text-Autoencodern haben die Qualität des latente Raums erheblich verbessert, was es Modellen ermöglicht, grammatikalisch korrekte und konsistente Texte aus aggregierten latenten Vektoren zu generieren. Als erfolgreiche Anwendung dieser Eigenschaft generieren unüberwachte Meinungszusammenfassungsmodelle eine Zusammenfassung durch das Decodieren der aggregierten latenten Vektoren der Eingaben. Genauer gesagt führen sie die Aggregation über einen einfachen Mittelwert durch. Allerdings ist bisher wenig bekannt darüber, wie der Schritt der Vektoraaggregation die Generierungsgüte beeinflusst. In dieser Studie untersuchen wir den häufig verwendeten Ansatz des einfachen Mittelwerts, indem wir den latenten Raum und die generierten Zusammenfassungen analysieren. Wir fanden heraus, dass Text-Autoencoder neigen, allzu generische Zusammenfassungen aus einfach gemittelten latenten Vektoren zu erzeugen, aufgrund einer unerwarteten $L_2$-Norm-Verkleinerung in den aggregierten latenten Vektoren, was wir als Zusammenfassungsvektordegeneration bezeichnen. Um dieses Problem zu bewältigen, entwickeln wir ein Framework namens Coop, das Eingabekombinationen für die Aggregation von latenten Vektoren unter Verwendung der Überschneidung von Eingabe- und Ausgabewörtern sucht. Experimentelle Ergebnisse zeigen, dass Coop das Problem der Zusammenfassungsvektordegeneration erfolgreich lindert und neue Standarteinstellungen in zwei Meinungszusammenfassungsbenchmarks erreicht. Der Quellcode ist unter \url{https://github.com/megagonlabs/coop} verfügbar.