Grapheninduktive Vorurteile in Transformers ohne Nachrichtenübertragung

Graph-Transformers werden zunehmend intensiv erforscht und erzielen in zahlreichen Lernaufgaben herausragende Ergebnisse. Grapheninduktive Voreingenommenheiten sind entscheidend für Graph-Transformers, wobei frühere Arbeiten diese durch Nachrichtenübertragungsmodulen und/oder Positionscodierungen integrieren. Allerdings erben Graph-Transformers, die Nachrichtenübertragung verwenden, bekannte Probleme dieser Methode und unterscheiden sich erheblich von Transformers in anderen Domänen, was die Übertragbarkeit von Forschungsergebnissen erschwert. Andererseits erzielen Graph-Transformers ohne Nachrichtenübertragung oft schlechte Leistungen auf kleineren Datensätzen, auf denen induktive Voreingenommenheiten besonders wichtig sind. Um diese Lücke zu schließen, schlagen wir den Graph Inductive bias Transformer (GRIT) vor – einen neuen Graph-Transformer, der grapheninduktive Voreingenommenheiten ohne Verwendung von Nachrichtenübertragung integriert. GRIT basiert auf mehreren architektonischen Änderungen, die jeweils theoretisch und empirisch gerechtfertigt sind: gelernte relative Positionscodierungen, initialisiert mit Random-Walk-Wahrscheinlichkeiten, ein flexibles Aufmerksamkeitsmechanismus zur Aktualisierung von Knoten- und Knotenpaarrepräsentationen sowie die Einbindung von Gradinformationen in jeder Schicht. Wir beweisen, dass GRIT ausdrucksstark ist – er kann kürzeste Pfadentfernungen und verschiedene Graph-Propagationsmatrizen darstellen. GRIT erreicht state-of-the-art empirische Ergebnisse auf einer Vielzahl von Graph-Datensätzen und demonstriert somit das Potenzial von Graph-Transformern ohne Nachrichtenübertragung.