Höherstufiges syntaktisches Aufmerksamkeitsnetzwerk für längere Satzkompression

Eine Methode zur Satzkompression mittels LSTM kann flüssige, komprimierte Sätze generieren. Allerdings leidet die Leistung dieser Methode erheblich bei der Kompression längerer Sätze, da sie syntaktische Merkmale nicht explizit berücksichtigt. Um dieses Problem zu lösen, schlagen wir ein höherordentliches syntaktisches Aufmerksamkeitsnetzwerk (HiSAN) vor, das höherordentliche Abhängigkeitsmerkmale als Aufmerksamkeitsverteilung über den LSTM-Zuständen verarbeiten kann. Zudem wird HiSAN dahingehend trainiert, die gemeinsame Wahrscheinlichkeit eines korrekten Ausgabesatzes mit der Aufmerksamkeitsverteilung zu maximieren, um die Auswirkungen fehlerhafter Parsing-Ergebnisse zu minimieren. Experimentelle Ergebnisse auf dem Google-Satzkompressions-Datensatz zeigen, dass unsere Methode die besten Leistungen hinsichtlich F1 sowie ROUGE-1,2 und L erzielt, mit Werten von jeweils 83,2, 82,9, 75,8 und 82,7. In einer menschlichen Bewertung übertraf unsere Methode die Baseline-Verfahren sowohl hinsichtlich Lesbarkeit als auch informativer Qualität.