AMR-Parsing mit Action-Pointer-Transformer

Die Abstract Meaning Representation-Parserung ist eine Aufgabe zur Vorhersage von Sätzen in Graphen, bei der die Zielknoten nicht explizit den Satztokenen zugeordnet sind. Da die Graphknoten jedoch semantisch auf einem oder mehreren Satztoken basieren, können implizite Zuordnungen abgeleitet werden. Transitionsbasierte Parser verarbeiten den Satz von links nach rechts und erfassen diese induktive Voreingenommenheit über Zuordnungen, wobei jedoch die Ausdruckskraft begrenzt ist. In dieser Arbeit stellen wir einen transitionbasierten Ansatz vor, der eine Hard-Attention über Sätze mit einem Aktion-Pointer-Mechanismus auf der Zielseite kombiniert, um die Quelltoken von den Knotendarstellungen zu entkoppeln und die Zuordnungen zu adressieren. Wir modellieren sowohl die Transitionen als auch den Pointer-Mechanismus durch einfache Modifikationen innerhalb einer einzigen Transformer-Architektur. Der Parserzustand und Informationen über die Graphstruktur werden effizient mittels Aufmerksamkeitsköpfe kodiert. Wir zeigen, dass unser Aktion-Pointer-Ansatz eine erhöhte Ausdruckskraft ermöglicht und gegenüber dem besten transitionbasierten AMR-Parser unter sehr ähnlichen Bedingungen erhebliche Verbesserungen erzielt (+1,6 Punkte). Ohne Verwendung von Graph-Rekategorisierung erreicht unser einzelnes Modell den zweitbesten Smatch-Score auf AMR 2.0 (81,8), der sich durch den Einsatz von Silberdaten und Ensembles-Decodierung auf 83,4 verbessert.