Hie-BART: Dokumentenzusammenfassung mit hierarchischem BART

Diese Arbeit stellt ein neues abstraktives Dokumentzusammenfassungsmodell, hierarchisches BART (Hie-BART), vor, das hierarchische Strukturen eines Dokuments (d. h. Satz-Wort-Strukturen) im BART-Modell erfassen kann. Obwohl das bestehende BART-Modell bereits eine state-of-the-art-Leistung bei Aufgaben der Dokumentzusammenfassung erzielt hat, verfügt es nicht über Wechselwirkungen zwischen satz- und wortlevel-Informationen. Bei maschinellen Übersetzungs-Aufgaben konnte die Leistung von neuronalen Übersetzungsmodellen durch die Integration von Multi-Granularitäts-Selbst-Attention (MG-SA) verbessert werden, die Beziehungen zwischen Wörtern und Phrasen erfassen kann. Inspiriert durch diese vorherigen Arbeiten integriert das vorgeschlagene Hie-BART-Modell MG-SA in den Encoder des BART-Modells, um Satz-Wort-Strukturen effektiver zu erfassen. Evaluierungen auf dem CNN/Daily Mail-Datensatz zeigen, dass das vorgeschlagene Hie-BART-Modell einige starke Baseline-Modelle übertrifft und die Leistung eines nicht-hierarchischen BART-Modells um +0,23 ROUGE-L verbessert.