HyperAIHyperAI

Command Palette

Search for a command to run...

Tiefe biaffine Aufmerksamkeit für neuronales Abhängigkeitsparsing

Timothy Dozat Christopher D. Manning

Zusammenfassung

Dieses Papier baut auf den neuesten Arbeiten von Kiperwasser & Goldberg (2016) auf, die neuronale Aufmerksamkeit in einem einfachen, graphbasierten Abhängigkeitsparser einsetzen. Wir verwenden einen größeren, aber gründlicher regularisierten Parser als andere jüngste Ansätze, die auf BiLSTMs basieren, und biaffine Klassifizierer zur Vorhersage von Bögen und Etiketten. Unser Parser erzielt erstklassige oder nahezu erstklassige Leistungen auf Standard-Treebanks für sechs verschiedene Sprachen, wobei er bei dem beliebtesten englischen PTB-Datensatz 95,7 % UAS (Unlabeled Attachment Score) und 94,1 % LAS (Labeled Attachment Score) erreicht. Dies macht ihn zum leistungsfähigsten graphbasierten Parser bei diesem Benchmark---er übertrifft Kiperwasser & Goldberg (2016) um 1,8 % UAS und 2,2 % LAS---und ist vergleichbar mit dem leistungsfähigsten transitionsbasierten Parser (Kuncoro et al., 2016), der 95,8 % UAS und 94,6 % LAS erreicht. Zudem zeigen wir, welche Hyperparameter-Wahl entscheidenden Einfluss auf die Parsing-Genauigkeit hatte, was es uns ermöglichte, erhebliche Verbesserungen gegenüber anderen graphbasierten Ansätzen zu erzielen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Tiefe biaffine Aufmerksamkeit für neuronales Abhängigkeitsparsing | Paper | HyperAI