Machen wir wirklich Fortschritte? Eine erneute Betrachtung, Benchmarking und Verfeinerung heterogener Graph-Neuralnetze

Heterogene Graph Neural Networks (HGNNs) sind in den letzten Jahren stark angewandt worden, jedoch behindern die einzigartigen Datenaufbereitungs- und Evaluationsmethoden, die von jeder Arbeit verwendet werden, ein vollständiges Verständnis ihrer Fortschritte. In dieser Arbeit präsentieren wir eine systematische Reproduktion von 12 aktuellen HGNNs unter Verwendung ihrer offiziellen Codes, Datensätze, Einstellungen und Hyperparameter, wodurch überraschende Erkenntnisse über den Fortschritt der HGNNs zutage treten. Wir stellen fest, dass einfache homogene GNNs wie GCN und GAT aufgrund unangemessener Einstellungen stark unterschätzt werden. Ein GAT mit geeigneten Eingaben kann in verschiedenen Szenarien generell die Leistung aller existierenden HGNNs erreichen oder sogar übertreffen. Um robuste und reproduzierbare HGNN-Forschung zu fördern, haben wir den Heterogeneous Graph Benchmark (HGB) erstellt, der aus 11 diversen Datensätzen mit drei Aufgaben besteht. Der HGB standardisiert den Prozess der Aufteilung heterogener Graphdaten, der Feature-Aufbereitung und der Leistungsbeurteilung. Schließlich führen wir Simple-HGN ein, eine einfache aber sehr starke Baseline, die alle bisherigen Modelle im HGB erheblich übertreffen und so den zukünftigen Fortschritt der HGNNs beschleunigen soll.