Graph-Prätrainierung für AMR-Parser und -Generierung

Abstract Meaning Representation (AMR) hebt die zentralen semantischen Informationen eines Textes in einer graphenbasierten Struktur hervor. In jüngster Zeit haben vortrainierte Sprachmodelle (PLMs) die Aufgaben der AMR-Parsing und der AMR-zu-Text-Generierung erheblich vorangetrieben. Allerdings werden PLMs typischerweise ausschließlich auf textuellen Daten vortrainiert und sind daher suboptimal für die Modellierung struktureller Kenntnisse geeignet. Um dies zu adressieren, untersuchen wir einen graphenbasierten selbstüberwachten Trainingsansatz, um die Strukturawareness von PLMs in Bezug auf AMR-Graphen zu verbessern. Insbesondere führen wir zwei graphenbasierte Auto-Encoding-Strategien für ein graphen-zu-graphen-Vortrainingsverfahren ein und entwickeln vier Aufgaben, um textuelle und graphische Informationen während des Vortrainings zu integrieren. Zudem entwerfen wir einen einheitlichen Rahmen, um die Lücke zwischen Vortrainings- und Feintuning-Aufgaben zu schließen. Experimente sowohl im Bereich des AMR-Parsing als auch der AMR-zu-Text-Generierung belegen die Überlegenheit unseres Modells. Soweit uns bekannt ist, sind wir das erste Team, das Vortrainingsansätze auf semantischen Graphen untersucht.