Globale Selbst-Aufmerksamkeit als Ersatz für Graphen-Faltung

Wir schlagen eine Erweiterung der Transformer-Neuralen-Netz-Architektur für allgemeine Graphenlernen vor, indem wir einen dedizierten Pfad für paarweise strukturelle Informationen hinzufügen, den wir Kantenkanäle nennen. Das resultierende Framework – das wir als Edge-augmented Graph Transformer (EGT) bezeichnen – kann strukturelle Informationen beliebiger Form direkt akzeptieren, verarbeiten und ausgeben, was für effektives Lernen auf graphenstrukturierten Daten von Bedeutung ist. Unser Modell verwendet ausschließlich globale Selbst-Attention als Aggregationsmechanismus anstelle statischer lokalisierter konvolutionaler Aggregation. Dies ermöglicht unbeschränkte langreichweitige dynamische Interaktionen zwischen den Knoten. Zudem erlauben die Kantenkanäle, dass die strukturellen Informationen von Schicht zu Schicht evolvieren, und Vorhersageaufgaben auf Kanten/Verbindungen können direkt aus den Ausgabemodellen dieser Kanäle durchgeführt werden. Wir überprüfen die Leistung des EGT in einer Vielzahl von Graphenlernexperimenten auf Benchmark-Datensätzen, bei denen es Convolutional/Message-Passing Graph Neural Networks übertrifft. EGT legt einen neuen Stand der Technik für die quantenchemische Regressionsaufgabe fest, basierend auf dem OGB-LSC PCQM4Mv2-Datensatz mit 3,8 Millionen molekularen Graphen. Unsere Ergebnisse deuten darauf hin, dass globale Selbst-Attention-basierte Aggregation als flexibler, anpassungsfähiger und effektiver Ersatz für Graphkonvolution für allgemeine Graphenlernen dienen kann. Somit ist die konvolutionsbasierte lokale Nachbarschaftsaggregation kein wesentlicher induktiver Bias.