Levi-Graph-AMR-Parser mit heterogener Aufmerksamkeit

In Kombination mit biaffinen Decodern wurden Transformer effektiv für die Text-zu-Graph-Transformation adaptiert und erreichten auf dem AMR-Parsing-Stand der Technik Spitzenleistungen. Viele vorherige Arbeiten stützen sich jedoch auf den biaffinen Decoder entweder für die Bogen- oder die Label-Vorhersage – obwohl die meisten von ihm genutzten Merkmale bereits durch den Transformer gelernt werden können. In dieser Arbeit wird ein neuartiger Ansatz für das AMR-Parsing vorgestellt, bei dem heterogene Daten (Tokens, Konzepte, Labels) als ein gemeinsamer Eingabewert für einen Transformer kombiniert werden, um Aufmerksamkeit zu lernen, und lediglich die Aufmerksamkeitsmatrizen des Transformers zur Vorhersage aller Elemente in AMR-Graphen (Konzepte, Bögen, Labels) genutzt werden. Obwohl unsere Modelle deutlich weniger Parameter als der bisherige Stand der Technik für Graph-Parsing verwenden, erreichen sie vergleichbare oder bessere Genauigkeit auf AMR 2.0 und 3.0.