HyperAIHyperAI

Command Palette

Search for a command to run...

Multi-Document-Zusammenfassung mit Determinant-Point-Process-Attention

Mirella Lapata Laura Perez-Beltrachini

Zusammenfassung

Die Fähigkeit, relevante und vielfältige Informationen zu vermitteln, ist entscheidend für die Multi-Dokument-Zusammenfassung und bleibt für neuronale Seq2Seq-Modelle dennoch eine Herausforderung, da deren Ausgaben oft redundant sind und wichtige Details nicht korrekt erfassen. In dieser Arbeit stellen wir eine Aufmerksamkeitsmechanik vor, die eine stärkere Fokussierung auf Relevanz und Vielfalt fördert. Die Aufmerksamkeitsgewichte werden basierend auf (proportionalen) Wahrscheinlichkeiten berechnet, die durch Determinantal Point Processes (DPPs) definiert sind und sich auf die Menge der zu summarisierenden Inhalts-Einheiten beziehen. DPPs wurden bereits erfolgreich in der extraktiven Zusammenfassung eingesetzt; hier nutzen wir sie, um für die abstraktive neuronale Zusammenfassung relevante und vielfältige Inhalte auszuwählen. Wir integrieren die DPP-basierte Aufmerksamkeit in verschiedene Seq2Seq-Architekturen, von CNNs über LSTMs bis hin zu Transformers. Experimentelle Evaluierungen zeigen, dass unsere Aufmerksamkeitsmechanik die Zusammenfassungsleistung konsistent verbessert und Ergebnisse erzielt, die mit dem Stand der Technik auf dem MultiNews-Datensatz vergleichbar sind.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Multi-Document-Zusammenfassung mit Determinant-Point-Process-Attention | Paper | HyperAI