Command Palette
Search for a command to run...
Ein end-to-end Ansatz basierend auf Aufmerksamkeit für das Lernen auf Graphen
Ein end-to-end Ansatz basierend auf Aufmerksamkeit für das Lernen auf Graphen
David Buterez extsuperscript1,* Jon Paul Janet extsuperscript2 Dino Oglic extsuperscript3 Pietro Liò extsuperscript1
Zusammenfassung
In letzter Zeit hat es einen Anstieg von transformer-basierten Architekturen für das Lernen auf Graphen gegeben, hauptsächlich motiviert durch die Aufmerksamkeit als ein effektives Lernmechanismus und den Wunsch, handgefertigte Operatoren, die charakteristisch für Nachrichtenübertragungsschemata sind, zu überflügeln. Allerdings wurden Bedenken bezüglich ihrer empirischen Effektivität, Skalierbarkeit und der Komplexität der Vorverarbeitungsschritte geäußert, insbesondere im Vergleich zu viel einfacheren Graph Neural Networks (GNNs), die in der Regel bei einer Vielzahl von Benchmarks vergleichbare Leistungen erzielen. Um diese Nachteile zu bewältigen, betrachten wir Graphen als Mengen von Kanten und schlagen einen rein aufmerksamkeitsbasierten Ansatz vor, der aus einem Encoder und einem Aufmerksamkeits-Pooling-Mechanismus besteht. Der Encoder verwebt vertikal maskierte und unmaskierte Selbst-Aufmerksamkeitsmodule, um effektive Darstellungen von Kanten zu lernen und gleichzeitig mögliche Fehlspezifikationen in Eingabegraphen abzubauen. Trotz seiner Einfachheit übertreffen die Ergebnisse dieses Ansatzes feinjustierte Baseline-Methoden des Nachrichtenaustauschs sowie kürzlich vorgeschlagene transformer-basierte Methoden bei mehr als 70 Knoten- und Graphenebenenaufgaben, einschließlich anspruchsvoller Langreichweiten-Benchmarks. Darüber hinaus zeigen wir Spitzenleistungen in verschiedenen Aufgabenbereichen, von molekularen bis hin zu visuellen Graphen und heterophiler Knotenklassifizierung. Der Ansatz übertrifft auch GNNs und Transformer in Transfer-Learning-Szenarien und skaliert deutlich besser als Alternativen mit vergleichbarer Leistungsfähigkeit oder Ausdrucksstärke.