HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Multi-Document-Zusammenfassung mit Determinant-Point-Process-Attention

{Mirella Lapata Laura Perez-Beltrachini}

Abstract

Die Fähigkeit, relevante und vielfältige Informationen zu vermitteln, ist entscheidend für die Multi-Dokument-Zusammenfassung und bleibt für neuronale Seq2Seq-Modelle dennoch eine Herausforderung, da deren Ausgaben oft redundant sind und wichtige Details nicht korrekt erfassen. In dieser Arbeit stellen wir eine Aufmerksamkeitsmechanik vor, die eine stärkere Fokussierung auf Relevanz und Vielfalt fördert. Die Aufmerksamkeitsgewichte werden basierend auf (proportionalen) Wahrscheinlichkeiten berechnet, die durch Determinantal Point Processes (DPPs) definiert sind und sich auf die Menge der zu summarisierenden Inhalts-Einheiten beziehen. DPPs wurden bereits erfolgreich in der extraktiven Zusammenfassung eingesetzt; hier nutzen wir sie, um für die abstraktive neuronale Zusammenfassung relevante und vielfältige Inhalte auszuwählen. Wir integrieren die DPP-basierte Aufmerksamkeit in verschiedene Seq2Seq-Architekturen, von CNNs über LSTMs bis hin zu Transformers. Experimentelle Evaluierungen zeigen, dass unsere Aufmerksamkeitsmechanik die Zusammenfassungsleistung konsistent verbessert und Ergebnisse erzielt, die mit dem Stand der Technik auf dem MultiNews-Datensatz vergleichbar sind.

Benchmarks

BenchmarkMethodikMetriken
multi-document-summarization-on-multi-newsCTF+DPP
ROUGE-1: 45.84
ROUGE-2: 15.94
ROUGE-SU4: 19.19

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Multi-Document-Zusammenfassung mit Determinant-Point-Process-Attention | Forschungsarbeiten | HyperAI