Ein faire Vergleich von Graph Neural Networks für die Graphklassifikation

Die experimentelle Reproduzierbarkeit und Replizierbarkeit sind zentrale Themen im Bereich des maschinellen Lernens. Autoren haben wiederholt Bedenken hinsichtlich deren mangelnder Einhaltung in wissenschaftlichen Publikationen geäußert, um die Qualität des Fachgebiets zu verbessern. In jüngster Zeit hat sich das Feld der Graphenrepräsentationslernens einer breiten Forschergemeinschaft angenommen, was zu einer großen Zahl von Arbeiten geführt hat. Dementsprechend wurden mehrere Graph Neural Network (GNN)-Modelle entwickelt, um die Klassifikation von Graphen effektiv zu bewältigen. Allerdings fehlen in den experimentellen Vorgehensweisen oft Rigorosität und Reproduzierbarkeit. Aus diesem Anlass geben wir einen Überblick über gängige Praktiken, die vermieden werden sollten, um eine faire Vergleichbarkeit mit dem Stand der Technik zu gewährleisten. Um dieser besorgniserregenden Entwicklung entgegenzuwirken, haben wir mehr als 47.000 Experimente in einem kontrollierten und einheitlichen Framework durchgeführt, um fünf etablierte Modelle an neun gängigen Benchmarks erneut zu bewerten. Zudem liefern wir über den Vergleich von GNNs mit strukturunabhängigen Baselines überzeugende Hinweise darauf, dass strukturelle Informationen in bestimmten Datensätzen bisher noch nicht ausreichend genutzt wurden. Wir sind überzeugt, dass diese Arbeit zum Fortschritt des Feldes der Graphenlernens beitragen kann, indem sie eine dringend benötigte Grundlage für rigorose Evaluierungen von Graphenklassifikationsmodellen bereitstellt.