Benchmarking von Graph Neural Networks

In den letzten Jahren sind Graph Neural Networks (GNNs) zum Standardwerkzeug zur Analyse und Lernprozesse auf graphenbasierten Daten geworden. Dieser aufstrebende Forschungsbereich hat eine umfangreiche Entwicklung vielversprechender Techniken erlebt, die erfolgreich in den Bereichen Informatik, Mathematik, Biologie, Physik und Chemie eingesetzt wurden. Doch um einen erfolgreichen Forschungsbereich zur Mainstream-Technologie zu machen und zuverlässig zu gestalten, sind benchmarks notwendig, um den Fortschritt quantitativ zu erfassen. Daher haben wir im März 2020 einen Benchmark-Framework veröffentlicht, der folgende vier Eigenschaften aufweist: i) eine vielfältige Sammlung mathematischer und realweltbezogener Graphen, ii) die Möglichkeit einer fairen Modellvergleichbarkeit unter gleichem Parameterbudget zur Identifizierung zentraler Architekturen, iii) eine offene, leicht verständliche und reproduzierbare Code-Infrastruktur sowie iv) eine hohe Flexibilität für Forscher, um neue theoretische Ansätze zu testen. Bis Dezember 2022 hat das GitHub-Repository bereits 2.000 Stars und 380 Forks erreicht, was die praktische Relevanz des vorgeschlagenen Open-Source-Frameworks durch die breite Nutzung innerhalb der GNN-Community unterstreicht. In diesem Artikel präsentieren wir eine aktualisierte Version unseres Benchmarks mit einer präzisen Darstellung der oben genannten Framework-Eigenschaften, einer zusätzlichen mittelgroßen molekularen Datensammlung namens AQSOL, die der populären ZINC-Datensammlung ähnelt, jedoch über ein reales, experimentell gemessenes chemisches Ziel verfügt. Zudem diskutieren wir, wie dieses Framework genutzt werden kann, um neue GNN-Architekturen und tiefere Erkenntnisse zu gewinnen. Als Beleg für den Wert unseres Benchmarks untersuchen wir den Fall der graphenbasierten Positionscodierung (Positional Encoding, PE) in GNNs, die erstmals mit diesem Benchmark eingeführt wurde und seither erhebliches Interesse an der Entwicklung leistungsfähigerer PE-Methoden für Transformers und GNNs in einem robusten experimentellen Rahmen hervorgerufen hat.