Long Range Graph Benchmark

Graph Neural Networks (GNNs), die auf dem Message-Passing-(MP)-Paradigma basieren, tauschen grundsätzlich Informationen zwischen 1-Hop-Nachbarn aus, um in jeder Schicht Knotendarstellungen zu konstruieren. Im Prinzip sind solche Netzwerke nicht in der Lage, langreichweitige Wechselwirkungen (Long-Range Interactions, LRI) zu erfassen, die für die Lösung bestimmter Aufgaben auf Graphen erforderlich oder wünschenswert sein können. In jüngster Zeit hat sich ein zunehmendes Interesse an der Entwicklung von Transformer-basierten Ansätzen für Graphen gezeigt, die die vollständige Knotenverbindung über die ursprüngliche spärliche Struktur hinaus berücksichtigen können und somit die Modellierung von LRI ermöglichen. Dennoch erzielen MP-GNNs, die ausschließlich auf der 1-Hop-Nachrichtenübertragung basieren, bei mehreren etablierten Graphen-Benchmarks häufig bessere Ergebnisse, insbesondere wenn sie in Kombination mit Positionsinformationen und weiteren Innovationen eingesetzt werden, was die wahrgenommene Nützlichkeit und Bewertung von Transformer-ähnlichen Architekturen einschränkt. Hier präsentieren wir den Long Range Graph Benchmark (LRGB) mit fünf Datensätzen für graphenbasiertes Lernen: PascalVOC-SP, COCO-SP, PCQM-Contact, Peptides-func und Peptides-struct, die eindeutig eine Reasoning-Fähigkeit für LRI erfordern, um bei einer gegebenen Aufgabe hohe Leistung zu erzielen. Wir benchmarken sowohl Basis-GNNs als auch Graph-Transformer-Netzwerke, um zu verifizieren, dass Modelle, die langreichweitige Abhängigkeiten erfassen können, auf diesen Aufgaben signifikant besser abschneiden. Somit eignen sich diese Datensätze ideal zur Benchmarking und Exploration von MP-GNN- und Graph-Transformer-Architekturen, die darauf abzielen, LRI zu erfassen.