HyperAIHyperAI

Command Palette

Search for a command to run...

Die Einbeziehung von Graphinformationen im transformerbasierten AMR-Parsing

Pavlo Vasylenko Pere-Lluis Huguet Cabot Abelardo Carlos Martínez Lorenzo Roberto Navigli

Zusammenfassung

Zusammenfassung: Abstract Meaning Representation (AMR) ist eine formale Semantikanalyse, die darauf abzielt, eine semantische Graphenabstraktion zu liefern, die einen gegebenen Text repräsentiert. Aktuelle Ansätze basieren auf autoregressiven Sprachmodellen wie BART oder T5, die durch Teacher Forcing feinjustiert werden, um eine linearisierte Version des AMR-Graphen aus einem Satz zu erzeugen. In dieser Arbeit stellen wir LeakDistill vor, ein Modell und eine Methode, die eine Modifikation der Transformer-Architektur untersuchen. Dabei werden strukturelle Adapter verwendet, um Graphinformationsstrukturen explizit in die gelernten Repräsentationen einzubinden und die Leistungsfähigkeit des AMR-Parsings zu verbessern. Unsere Experimente zeigen, dass durch das Einbetten von Worts-zu-Knoten-Zuordnungen zur Einbindung von Graphenstrukturinformationen in den Encoder während der Trainingsphase ein Stand-des-Wissens-AMR-Parsing durch Selbstwissen-Distillation erreicht werden kann, auch ohne zusätzliche Daten zu verwenden. Wir veröffentlichen den Code unter \url{http://www.github.com/sapienzanlp/LeakDistill}.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Die Einbeziehung von Graphinformationen im transformerbasierten AMR-Parsing | Paper | HyperAI