Multi-Document-Zusammenfassung mit Determinant-Point-Process-Attention

Die Fähigkeit, relevante und vielfältige Informationen zu vermitteln, ist entscheidend für die Multi-Dokument-Zusammenfassung und bleibt für neuronale Seq2Seq-Modelle dennoch eine Herausforderung, da deren Ausgaben oft redundant sind und wichtige Details nicht korrekt erfassen. In dieser Arbeit stellen wir eine Aufmerksamkeitsmechanik vor, die eine stärkere Fokussierung auf Relevanz und Vielfalt fördert. Die Aufmerksamkeitsgewichte werden basierend auf (proportionalen) Wahrscheinlichkeiten berechnet, die durch Determinantal Point Processes (DPPs) definiert sind und sich auf die Menge der zu summarisierenden Inhalts-Einheiten beziehen. DPPs wurden bereits erfolgreich in der extraktiven Zusammenfassung eingesetzt; hier nutzen wir sie, um für die abstraktive neuronale Zusammenfassung relevante und vielfältige Inhalte auszuwählen. Wir integrieren die DPP-basierte Aufmerksamkeit in verschiedene Seq2Seq-Architekturen, von CNNs über LSTMs bis hin zu Transformers. Experimentelle Evaluierungen zeigen, dass unsere Aufmerksamkeitsmechanik die Zusammenfassungsleistung konsistent verbessert und Ergebnisse erzielt, die mit dem Stand der Technik auf dem MultiNews-Datensatz vergleichbar sind.