HyperAIHyperAI

Command Palette

Search for a command to run...

Levi-Graph-AMR-Parser mit heterogener Aufmerksamkeit

Han He Jinho D. Choi

Zusammenfassung

In Kombination mit biaffinen Decodern wurden Transformer effektiv für die Text-zu-Graph-Transformation adaptiert und erreichten auf dem AMR-Parsing-Stand der Technik Spitzenleistungen. Viele vorherige Arbeiten stützen sich jedoch auf den biaffinen Decoder entweder für die Bogen- oder die Label-Vorhersage – obwohl die meisten von ihm genutzten Merkmale bereits durch den Transformer gelernt werden können. In dieser Arbeit wird ein neuartiger Ansatz für das AMR-Parsing vorgestellt, bei dem heterogene Daten (Tokens, Konzepte, Labels) als ein gemeinsamer Eingabewert für einen Transformer kombiniert werden, um Aufmerksamkeit zu lernen, und lediglich die Aufmerksamkeitsmatrizen des Transformers zur Vorhersage aller Elemente in AMR-Graphen (Konzepte, Bögen, Labels) genutzt werden. Obwohl unsere Modelle deutlich weniger Parameter als der bisherige Stand der Technik für Graph-Parsing verwenden, erreichen sie vergleichbare oder bessere Genauigkeit auf AMR 2.0 und 3.0.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Levi-Graph-AMR-Parser mit heterogener Aufmerksamkeit | Paper | HyperAI