HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Berücksichtigung der verschachtelten Baumstruktur bei der satzbasierenden Zusammenfassung mit vortrainierten Transformern

{Manabu Okumura Hidetaka Kamigaito Naoki Kobayashi Jingun Kwon}

Berücksichtigung der verschachtelten Baumstruktur bei der satzbasierenden Zusammenfassung mit vortrainierten Transformern

Abstract

Die extraktive Zusammenfassung von Texten verkürzt ein Dokument durch die Auswahl relevanter Sätze, wobei der wichtigste Inhalt erhalten bleibt. Allerdings ist die Erstellung einer kohärenten und informativen Zusammenfassung mithilfe eines vortrainierten BERT-basierten Encoders schwierig, da dieser nicht explizit dafür trainiert wurde, die Informationen einzelner Sätze innerhalb eines Dokuments angemessen darzustellen. Wir stellen ein auf RoBERTa basierendes extraktives Zusammenfassungsmodell mit geschachtelten Baumstrukturen (NeRoBERTa) vor, bei dem die geschachtelten Baumstrukturen aus syntaktischen und diskursiven Bäumen in einem gegebenen Dokument bestehen. Experimentelle Ergebnisse auf dem CNN/DailyMail-Datensatz zeigen, dass NeRoBERTa die Baseline-Modelle in Bezug auf ROUGE übertrifft. Auch die menschliche Bewertung ergab, dass NeRoBERTa signifikant bessere Werte hinsichtlich Kohärenz erreicht als die Baselines und vergleichbare Ergebnisse zu den derzeit besten Modellen erzielt.

Benchmarks

BenchmarkMethodikMetriken
extractive-document-summarization-on-cnnNeRoBERTa
ROUGE-1: 43.86
ROUGE-2: 20.64
ROUGE-L: 40.20

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Berücksichtigung der verschachtelten Baumstruktur bei der satzbasierenden Zusammenfassung mit vortrainierten Transformern | Forschungsarbeiten | HyperAI