Modellierung der Graphstruktur durch relative Position für die Textgenerierung aus Wissensgraphen

Wir stellen Graformer vor, eine neuartige Transformer-basierte Encoder-Decoder-Architektur für die Generierung von Text aus Graphen. Durch unseren innovativen Graph-Selbst-Attention-Mechanismus hängt die Kodierung eines Knotens nicht nur von seinen direkten Nachbarn ab, sondern von allen Knoten im Eingabegraphen, was die Erkennung globaler Muster erleichtert. Wir repräsentieren die Beziehung zwischen zwei Knoten als die Länge des kürzesten Pfades zwischen ihnen. Graformer lernt, diese Knoten-Knoten-Beziehungen für verschiedene Attention-Heads unterschiedlich zu gewichten, sodass es praktisch unterschiedliche, miteinander verbundene Ansichten des Eingabegraphen lernt. Wir evaluieren Graformer anhand zweier gängiger Benchmarks für die Generierung von Text aus Graphen, nämlich AGENDA und WebNLG, bei denen es eine starke Leistung erzielt und dabei deutlich weniger Parameter als andere Ansätze verwendet.