Topologieinformierter Graph-Transformer

Transformer haben die Leistungsfähigkeit in der Natürlichen Sprachverarbeitung und dem visuellen Bereich revolutioniert und den Weg für ihre Integration mit Graph Neural Networks (GNNs) geebnet. Ein wesentlicher Herausforderung bei der Verbesserung von Graph-Transformer ist die Stärkung ihrer diskriminierenden Fähigkeiten zur Unterscheidung von Graphisomorphismen, was eine entscheidende Rolle bei der Steigerung ihrer Vorhersageleistung spielt. Um dieser Herausforderung zu begegnen, stellen wir den „Topologieinformierten Graph-Transformer (TIGT)“ vor, einen neuartigen Transformer, der sowohl die diskriminierende Kraft bei der Erkennung von Graphisomorphismen als auch die gesamte Leistungsfähigkeit von Graph-Transformern verbessert. Der TIGT besteht aus vier Komponenten: Eine topologische Positionierungsebene, die nicht-isomorphe universelle Überlagerungen auf Basis zyklischer Untergraphen verwendet, um eindeutige Graphdarstellungen sicherzustellen; Eine Dual-Pfad-Nachrichtenübertragungsschicht, die topologische Merkmale explizit über alle Codierschichten kodiert; Ein globales Aufmerksamkeitsmechanismus; Und eine Graphinformationsebene, die kanalweise Graphmerkmale neu kalibriert, um eine bessere Merkmalsdarstellung zu erzielen. Der TIGT übertrifft frühere Graph-Transformers bei der Klassifikation synthetischer Datensätze, die darauf abzielen, Isomorphieklassen von Graphen zu unterscheiden. Darüber hinaus unterstreichen mathematische Analysen und empirische Bewertungen den wettbewerbsfähigen Vorteil unseres Modells gegenüber den neuesten Graph-Transformern in verschiedenen Benchmark-Datensätzen.