HyperAIHyperAI

Command Palette

Search for a command to run...

Hie-BART: Dokumentenzusammenfassung mit hierarchischem BART

Takashi Ninomiya Akihiro Tamura Kazuki Akiyama

Zusammenfassung

Diese Arbeit stellt ein neues abstraktives Dokumentzusammenfassungsmodell, hierarchisches BART (Hie-BART), vor, das hierarchische Strukturen eines Dokuments (d. h. Satz-Wort-Strukturen) im BART-Modell erfassen kann. Obwohl das bestehende BART-Modell bereits eine state-of-the-art-Leistung bei Aufgaben der Dokumentzusammenfassung erzielt hat, verfügt es nicht über Wechselwirkungen zwischen satz- und wortlevel-Informationen. Bei maschinellen Übersetzungs-Aufgaben konnte die Leistung von neuronalen Übersetzungsmodellen durch die Integration von Multi-Granularitäts-Selbst-Attention (MG-SA) verbessert werden, die Beziehungen zwischen Wörtern und Phrasen erfassen kann. Inspiriert durch diese vorherigen Arbeiten integriert das vorgeschlagene Hie-BART-Modell MG-SA in den Encoder des BART-Modells, um Satz-Wort-Strukturen effektiver zu erfassen. Evaluierungen auf dem CNN/Daily Mail-Datensatz zeigen, dass das vorgeschlagene Hie-BART-Modell einige starke Baseline-Modelle übertrifft und die Leistung eines nicht-hierarchischen BART-Modells um +0,23 ROUGE-L verbessert.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Hie-BART: Dokumentenzusammenfassung mit hierarchischem BART | Paper | HyperAI