HyperAIHyperAI

Command Palette

Search for a command to run...

GAP: Ein graphbewusstes Sprachmodellrahmenwerk für die Generierung von Text aus Wissensgraphen

Anthony Colas Mehrdad Alvandipour Daisy Zhe Wang

Zusammenfassung

Neuere Fortschritte bei der Generierung von Text aus Wissensgraphen (KG-to-text) sind auf zusätzliche, auxiliäre Vortrainingsaufgaben zurückzuführen, die entwickelt wurden, um die Feinabstimmungsaufgabe in ihrer Leistungsfähigkeit zu verbessern. Diese Aufgaben erfordern zwar umfangreiche Rechenressourcen, schlagen aber nur geringfügige Verbesserungen vor. In dieser Arbeit zeigen wir, dass durch das Einbinden von graphbasierten Elementen in bereits vortrainierte Sprachmodelle die Leistung von Stand-of-the-Art-Modellen übertroffen und der Leistungsunterschied, der durch zusätzliche Vortrainingsaufgaben verursacht wird, geschlossen werden kann. Dazu schlagen wir eine Maskierungsstruktur vor, um Nachbarschaftsinformationen zu erfassen, sowie einen neuen Typenkodierer (type encoder), der je nach Verbindungstyp ein Bias zu den Graph-Aufmerksamkeitsgewichten hinzufügt. Experimente mit zwei Benchmark-Datensätzen für KG-to-text zeigen, dass unsere Modelle wettbewerbsfähig sind und dabei weniger Parameter aufweisen und keine zusätzlichen Vortrainingsaufgaben benötigen. Durch die Formulierung des Problems als Framework können wir die verschiedenen vorgeschlagenen Komponenten austauschen und beginnen, KG-to-text-generative Modelle basierend auf topologischen und typischen Informationen in einem Graph zu interpretieren.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
GAP: Ein graphbewusstes Sprachmodellrahmenwerk für die Generierung von Text aus Wissensgraphen | Paper | HyperAI