HyperAIHyperAI

Command Palette

Search for a command to run...

Transitionbasierte Parsing mit Stack-Transformern

Ramon Fernandez Astudillo Miguel Ballesteros Tahira Naseem Austin Blodgett Radu Florian

Zusammenfassung

Die Modellierung des Parser-Zustands ist entscheidend für eine hohe Leistungsfähigkeit in transitionsbasierten Parsing-Systemen. Rekurrente neuronale Netzwerke haben die Leistung solcher Systeme erheblich verbessert, indem sie entweder den globalen Zustand modellieren (z. B. Stack-LSTM-Parsen) oder den lokalen Zustand kontextualisierter Merkmale (z. B. Bi-LSTM-Parsen). Angesichts des Erfolgs von Transformer-Architekturen in jüngsten Parsing-Systemen untersucht diese Arbeit Modifikationen der sequenz-zu-sequenz-Transformer-Architektur, um entweder den globalen oder lokalen Parser-Zustand in transitionsbasierten Parsing-Verfahren zu modellieren. Wir zeigen, dass Modifikationen der Cross-Attention-Mechanismen des Transformers die Leistung sowohl bei Dependency-Parsing als auch bei Abstract-Meaning-Representation-(AMR)-Parsing deutlich steigern, insbesondere bei kleineren Modellen oder begrenzten Trainingsdaten.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Transitionbasierte Parsing mit Stack-Transformern | Paper | HyperAI