HyperAIHyperAI

Command Palette

Search for a command to run...

Konstituenzparsing mit einem selbstaufmerksamen Encoder

Nikita Kitaev Dan Klein

Zusammenfassung

Wir zeigen, dass der Ersatz eines LSTM-Encoders durch eine selbst-merksamkeitsarchitektur (self-attentive architecture) zu Verbesserungen bei einem standesgemäßen diskriminativen Konstituentenparser führen kann. Die Verwendung von Attention macht die Art und Weise explizit, wie Informationen zwischen verschiedenen Positionen im Satz übertragen werden, was wir nutzen, um unser Modell zu analysieren und potenzielle Verbesserungen vorzuschlagen. Zum Beispiel stellen wir fest, dass das Trennen von positionellen und inhaltsbezogenen Informationen im Encoder zu einer besseren Parsinggenauigkeit führen kann. Zudem evaluieren wir verschiedene Ansätze für lexikalische Repräsentationen. Unser Parser erzielt neue standesgemäße Ergebnisse für einzelne Modelle, die auf dem Penn Treebank trainiert wurden: 93,55 F1 ohne die Verwendung externer Daten und 95,13 F1 bei Verwendung prägelernter Wortrepräsentationen. Unser Parser übertreffen zudem die bisher besten veröffentlichten Genauigkeitswerte in 8 von 9 Sprachen des SPMRL-Datensatzes.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Konstituenzparsing mit einem selbstaufmerksamen Encoder | Paper | HyperAI