HyperAIHyperAI

Command Palette

Search for a command to run...

Modellierung der Graphstruktur durch relative Position für die Textgenerierung aus Wissensgraphen

Martin Schmitt Leonardo F. R. Ribeiro Philipp Dufter Iryna Gurevych Hinrich Schütze

Zusammenfassung

Wir stellen Graformer vor, eine neuartige Transformer-basierte Encoder-Decoder-Architektur für die Generierung von Text aus Graphen. Durch unseren innovativen Graph-Selbst-Attention-Mechanismus hängt die Kodierung eines Knotens nicht nur von seinen direkten Nachbarn ab, sondern von allen Knoten im Eingabegraphen, was die Erkennung globaler Muster erleichtert. Wir repräsentieren die Beziehung zwischen zwei Knoten als die Länge des kürzesten Pfades zwischen ihnen. Graformer lernt, diese Knoten-Knoten-Beziehungen für verschiedene Attention-Heads unterschiedlich zu gewichten, sodass es praktisch unterschiedliche, miteinander verbundene Ansichten des Eingabegraphen lernt. Wir evaluieren Graformer anhand zweier gängiger Benchmarks für die Generierung von Text aus Graphen, nämlich AGENDA und WebNLG, bei denen es eine starke Leistung erzielt und dabei deutlich weniger Parameter als andere Ansätze verwendet.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp