HyperAIHyperAI

Command Palette

Search for a command to run...

Höherstufiges syntaktisches Aufmerksamkeitsnetzwerk für längere Satzkompression

Tsutomu Hirao Katsuhiko Hayashi Masaaki Nagata Hidetaka Kamigaito

Zusammenfassung

Eine Methode zur Satzkompression mittels LSTM kann flüssige, komprimierte Sätze generieren. Allerdings leidet die Leistung dieser Methode erheblich bei der Kompression längerer Sätze, da sie syntaktische Merkmale nicht explizit berücksichtigt. Um dieses Problem zu lösen, schlagen wir ein höherordentliches syntaktisches Aufmerksamkeitsnetzwerk (HiSAN) vor, das höherordentliche Abhängigkeitsmerkmale als Aufmerksamkeitsverteilung über den LSTM-Zuständen verarbeiten kann. Zudem wird HiSAN dahingehend trainiert, die gemeinsame Wahrscheinlichkeit eines korrekten Ausgabesatzes mit der Aufmerksamkeitsverteilung zu maximieren, um die Auswirkungen fehlerhafter Parsing-Ergebnisse zu minimieren. Experimentelle Ergebnisse auf dem Google-Satzkompressions-Datensatz zeigen, dass unsere Methode die besten Leistungen hinsichtlich F1 sowie ROUGE-1,2 und L erzielt, mit Werten von jeweils 83,2, 82,9, 75,8 und 82,7. In einer menschlichen Bewertung übertraf unsere Methode die Baseline-Verfahren sowohl hinsichtlich Lesbarkeit als auch informativer Qualität.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Höherstufiges syntaktisches Aufmerksamkeitsnetzwerk für längere Satzkompression | Paper | HyperAI