Wo ist die Lücke hin? Eine Neubewertung des Benchmarks für langreichweitige Graphen

Das kürzlich eingeführte Long-Range Graph Benchmark (LRGB, Dwivedi et al. 2022) präsentierte eine Reihe von Graph-Lernaufgaben, die stark von der Wechselwirkung über lange Distanzen zwischen Knoten abhängen. Empirische Beweise deuten darauf hin, dass Graph-Transformers bei diesen Aufgaben erheblich besser abschneiden als Message-Passing-GNNs (MPGNNs). In dieser Arbeit evaluieren wir sorgfältig mehrere MPGNN-Baselines sowie den Graph-Transformer GPS (Rampášek et al. 2022) auf dem LRGB. Durch eine gründliche empirische Analyse zeigen wir, dass der gemeldete Leistungsunterschied aufgrund suboptimaler Hyperparameter-Wahlen überschätzt wird. Es ist bemerkenswert, dass der Leistungsunterschied nach grundlegender Hyperparameter-Optimierung bei mehreren Datensätzen vollständig verschwindet. Darüber hinaus diskutieren wir die Auswirkungen fehlender Merkmalsnormalisierung für die Bild-Datensätze des LRGB und werfen Licht auf eine irreführende Implementierung des Link-Vorhersagemetriks des LRGB. Das primäre Ziel unserer Arbeit besteht darin, einen höheren Standard an empirischer Strenge innerhalb der Community des maschinellen Lernens mit Graphen zu etablieren.