Strukturbewusste Feinabstimmung von Sequenz-zu-Sequenz-Transformern für transitionsbasierte AMR-Parsing

Die Vorhersage linearisierter Abstract Meaning Representation (AMR)-Graphen mithilfe vortrainierter sequenz-zu-sequenz-Transformer-Modelle hat in letzter Zeit erhebliche Fortschritte auf AMR-Parsing-Benchmarks ermöglicht. Diese Parser sind einfach zu implementieren und vermeiden eine explizite Modellierung der Struktur, weisen jedoch unerwünschte Eigenschaften auf, wie beispielsweise fehlende Garantien für die Gültigkeit der Graphenstruktur oder integrierte Alignments zwischen Graph und Satz. In dieser Arbeit untersuchen wir die Integration allgemeiner, vortrainierter sequenz-zu-sequenz-Sprachmodelle mit einem strukturbewussten, transitionsbasierten Ansatz. Wir gehen von einem zeigerbasierten Transitionssystem aus und schlagen eine vereinfachte Transitionsmenge vor, die gezielt darauf abgestimmt ist, vortrainierte Sprachmodelle für die strukturierte Feinabstimmung besser auszunutzen. Zudem erforschen wir die Modellierung des Parser-Zustands innerhalb der vortrainierten Encoder-Decoder-Architektur sowie verschiedene Vokabularstrategien für diesen Zweck. Wir führen eine detaillierte Gegenüberstellung mit jüngsten Entwicklungen im Bereich des AMR-Parsings durch und zeigen, dass der vorgeschlagene Parser die wünschenswerten Eigenschaften früher transitionsbasierter Ansätze beibehält, gleichzeitig jedoch einfacher ist und die neue State-of-the-Art-Leistung für AMR 2.0 erreicht – ohne die Notwendigkeit einer Neu-Kategorisierung der Graphen.