HyperAIHyperAI

Command Palette

Search for a command to run...

Strukturelle Adapter in vortrainierten Sprachmodellen für die AMR-zu-Text-Generierung

Leonardo F. R. Ribeiro Yue Zhang Iryna Gurevych

Zusammenfassung

Vortrainierte Sprachmodelle (PLM) haben kürzlich die Generierung von Text aus Graphen erheblich vorangetrieben, bei der der Eingabegraph in eine Sequenz linearisiert und in das PLM eingespeist wird, um dessen Darstellung zu erhalten. Die effiziente Kodierung der Graphstruktur in PLMs ist jedoch herausfordernd, da solche Modelle auf natürlicher Sprache vortrainiert wurden und die Modellierung strukturierter Daten zu einer katastrophalen Vergessensneigung des verteilten Wissens führen kann. In diesem Paper stellen wir StructAdapt vor, eine Adapter-Methode zur Kodierung von Graphstrukturen in PLMs. Im Gegensatz zu vorherigen Ansätzen modelliert StructAdapt effektiv die Wechselwirkungen zwischen den Knoten basierend auf der Graphverbindung, wobei lediglich die parameterbasierten Adapter für strukturbezogenes Wissen trainiert werden. Auf diese Weise integrieren wir aufgabenbezogenes Wissen, während die topologische Struktur des Graphen erhalten bleibt. Wir zeigen empirisch die Vorteile einer expliziten Kodierung der Graphstruktur in PLMs mittels StructAdapt, wobei wir die State-of-the-Art-Leistung auf zwei AMR-zu-Text-Datensätzen übertreffen, wobei nur 5,1 % der PLM-Parameter trainiert werden.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp