GAP: Ein graphbewusstes Sprachmodellrahmenwerk für die Generierung von Text aus Wissensgraphen

Neuere Fortschritte bei der Generierung von Text aus Wissensgraphen (KG-to-text) sind auf zusätzliche, auxiliäre Vortrainingsaufgaben zurückzuführen, die entwickelt wurden, um die Feinabstimmungsaufgabe in ihrer Leistungsfähigkeit zu verbessern. Diese Aufgaben erfordern zwar umfangreiche Rechenressourcen, schlagen aber nur geringfügige Verbesserungen vor. In dieser Arbeit zeigen wir, dass durch das Einbinden von graphbasierten Elementen in bereits vortrainierte Sprachmodelle die Leistung von Stand-of-the-Art-Modellen übertroffen und der Leistungsunterschied, der durch zusätzliche Vortrainingsaufgaben verursacht wird, geschlossen werden kann. Dazu schlagen wir eine Maskierungsstruktur vor, um Nachbarschaftsinformationen zu erfassen, sowie einen neuen Typenkodierer (type encoder), der je nach Verbindungstyp ein Bias zu den Graph-Aufmerksamkeitsgewichten hinzufügt. Experimente mit zwei Benchmark-Datensätzen für KG-to-text zeigen, dass unsere Modelle wettbewerbsfähig sind und dabei weniger Parameter aufweisen und keine zusätzlichen Vortrainingsaufgaben benötigen. Durch die Formulierung des Problems als Framework können wir die verschiedenen vorgeschlagenen Komponenten austauschen und beginnen, KG-to-text-generative Modelle basierend auf topologischen und typischen Informationen in einem Graph zu interpretieren.