Ein end-to-end Ansatz basierend auf Aufmerksamkeit für das Lernen auf Graphen

In letzter Zeit hat es einen Anstieg von transformer-basierten Architekturen für das Lernen auf Graphen gegeben, hauptsächlich motiviert durch die Aufmerksamkeit als ein effektives Lernmechanismus und den Wunsch, handgefertigte Operatoren, die charakteristisch für Nachrichtenübertragungsschemata sind, zu überflügeln. Allerdings wurden Bedenken bezüglich ihrer empirischen Effektivität, Skalierbarkeit und der Komplexität der Vorverarbeitungsschritte geäußert, insbesondere im Vergleich zu viel einfacheren Graph Neural Networks (GNNs), die in der Regel bei einer Vielzahl von Benchmarks vergleichbare Leistungen erzielen. Um diese Nachteile zu bewältigen, betrachten wir Graphen als Mengen von Kanten und schlagen einen rein aufmerksamkeitsbasierten Ansatz vor, der aus einem Encoder und einem Aufmerksamkeits-Pooling-Mechanismus besteht. Der Encoder verwebt vertikal maskierte und unmaskierte Selbst-Aufmerksamkeitsmodule, um effektive Darstellungen von Kanten zu lernen und gleichzeitig mögliche Fehlspezifikationen in Eingabegraphen abzubauen. Trotz seiner Einfachheit übertreffen die Ergebnisse dieses Ansatzes feinjustierte Baseline-Methoden des Nachrichtenaustauschs sowie kürzlich vorgeschlagene transformer-basierte Methoden bei mehr als 70 Knoten- und Graphenebenenaufgaben, einschließlich anspruchsvoller Langreichweiten-Benchmarks. Darüber hinaus zeigen wir Spitzenleistungen in verschiedenen Aufgabenbereichen, von molekularen bis hin zu visuellen Graphen und heterophiler Knotenklassifizierung. Der Ansatz übertrifft auch GNNs und Transformer in Transfer-Learning-Szenarien und skaliert deutlich besser als Alternativen mit vergleichbarer Leistungsfähigkeit oder Ausdrucksstärke.