Strukturelle Adapter in vortrainierten Sprachmodellen für die AMR-zu-Text-Generierung

Vortrainierte Sprachmodelle (PLM) haben kürzlich die Generierung von Text aus Graphen erheblich vorangetrieben, bei der der Eingabegraph in eine Sequenz linearisiert und in das PLM eingespeist wird, um dessen Darstellung zu erhalten. Die effiziente Kodierung der Graphstruktur in PLMs ist jedoch herausfordernd, da solche Modelle auf natürlicher Sprache vortrainiert wurden und die Modellierung strukturierter Daten zu einer katastrophalen Vergessensneigung des verteilten Wissens führen kann. In diesem Paper stellen wir StructAdapt vor, eine Adapter-Methode zur Kodierung von Graphstrukturen in PLMs. Im Gegensatz zu vorherigen Ansätzen modelliert StructAdapt effektiv die Wechselwirkungen zwischen den Knoten basierend auf der Graphverbindung, wobei lediglich die parameterbasierten Adapter für strukturbezogenes Wissen trainiert werden. Auf diese Weise integrieren wir aufgabenbezogenes Wissen, während die topologische Struktur des Graphen erhalten bleibt. Wir zeigen empirisch die Vorteile einer expliziten Kodierung der Graphstruktur in PLMs mittels StructAdapt, wobei wir die State-of-the-Art-Leistung auf zwei AMR-zu-Text-Datensätzen übertreffen, wobei nur 5,1 % der PLM-Parameter trainiert werden.