Graph Transformer Netzwerke

Graph Neural Networks (GNNs) werden in der Repräsentationslernen auf Graphen weit verbreitet eingesetzt und haben in Aufgaben wie Knotenklassifizierung und Link-Vorhersage den aktuellen Stand der Technik erreicht. Dennoch sind die meisten existierenden GNNs darauf ausgelegt, Knotenrepräsentationen auf festen und homogenen Graphen zu lernen. Diese Einschränkungen werden besonders problematisch, wenn Repräsentationen auf einem fehlspezifizierten oder heterogenen Graph gelernt werden sollen, der verschiedene Arten von Knoten und Kanten enthält. In dieser Arbeit schlagen wir Graph Transformer Networks (GTNs) vor, die in der Lage sind, neue Graphstrukturen zu generieren. Dabei identifizieren sie nützliche Verbindungen zwischen nicht verbundenen Knoten im ursprünglichen Graph und lernen gleichzeitig effektive Knotenrepräsentationen auf den neuen Graphen in einem end-to-end Prozess. Die Graph Transformer Schicht, ein zentrales Element der GTNs, lernt eine weiche Auswahl von Kantenarten und zusammengesetzten Relationen, um nützliche Multi-Hop-Verbindungen, sogenannte Meta-Pfade, zu generieren. Unsere Experimente zeigen, dass GTNs ohne spezifisches Fachwissen neue Graphstrukturen basierend auf Daten und Aufgaben lernen können und durch Faltung auf den neuen Graphen mächtige Knotenrepräsentationen erzeugen. Ohne domänenbezogene Vorkonfiguration von Graphdaten erreichten GTNs in allen drei Benchmark-Aufgaben zur Knotenklassifizierung bessere Ergebnisse als die bislang besten Methoden, die vorgegebene Meta-Pfade aus Fachwissen benötigen.