HyperAIHyperAI

Command Palette

Search for a command to run...

Strukturbewusste Feinabstimmung von Sequenz-zu-Sequenz-Transformern für transitionsbasierte AMR-Parsing

Jiawei Zhou Tahira Naseem Ramón Fernandez Astudillo Young-Suk Lee Radu Florian Salim Roukos

Zusammenfassung

Die Vorhersage linearisierter Abstract Meaning Representation (AMR)-Graphen mithilfe vortrainierter sequenz-zu-sequenz-Transformer-Modelle hat in letzter Zeit erhebliche Fortschritte auf AMR-Parsing-Benchmarks ermöglicht. Diese Parser sind einfach zu implementieren und vermeiden eine explizite Modellierung der Struktur, weisen jedoch unerwünschte Eigenschaften auf, wie beispielsweise fehlende Garantien für die Gültigkeit der Graphenstruktur oder integrierte Alignments zwischen Graph und Satz. In dieser Arbeit untersuchen wir die Integration allgemeiner, vortrainierter sequenz-zu-sequenz-Sprachmodelle mit einem strukturbewussten, transitionsbasierten Ansatz. Wir gehen von einem zeigerbasierten Transitionssystem aus und schlagen eine vereinfachte Transitionsmenge vor, die gezielt darauf abgestimmt ist, vortrainierte Sprachmodelle für die strukturierte Feinabstimmung besser auszunutzen. Zudem erforschen wir die Modellierung des Parser-Zustands innerhalb der vortrainierten Encoder-Decoder-Architektur sowie verschiedene Vokabularstrategien für diesen Zweck. Wir führen eine detaillierte Gegenüberstellung mit jüngsten Entwicklungen im Bereich des AMR-Parsings durch und zeigen, dass der vorgeschlagene Parser die wünschenswerten Eigenschaften früher transitionsbasierter Ansätze beibehält, gleichzeitig jedoch einfacher ist und die neue State-of-the-Art-Leistung für AMR 2.0 erreicht – ohne die Notwendigkeit einer Neu-Kategorisierung der Graphen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Strukturbewusste Feinabstimmung von Sequenz-zu-Sequenz-Transformern für transitionsbasierte AMR-Parsing | Paper | HyperAI