HyperAggregation: Aggregation über Graphenkanten mit Hypernetzen

HyperAggregation ist eine auf Hypernetzen basierende Aggregationsfunktion für Graph Neural Networks (GNNs). Es nutzt ein Hypernetz, um Gewichte dynamisch in Abhängigkeit von der Größe des aktuellen Nachbarschaftsbereichs zu generieren, die anschließend zur Aggregation dieser Nachbarschaft verwendet werden. Diese Aggregation mit den generierten Gewichten erfolgt ähnlich wie das Kanalmixing eines MLP-Mixers über variabel große Knotennachbarschaften. Wir demonstrieren HyperAggregation in zwei Modellen: GraphHyperMixer, das auf dem MLP-Mixer basiert, und GraphHyperConv, das von einem GCN abgeleitet ist, jedoch mit einer auf Hypernetzen basierenden Aggregationsfunktion. Wir führen Experimente auf verschiedenen Benchmark-Datensätzen durch, die sich auf die Knotenklassifikation, die Graphklassifikation und die Graphregression beziehen. Die Ergebnisse zeigen, dass HyperAggregation effektiv sowohl für homophile als auch für heterophile Datensätze in induktiven als auch transduktiven Szenarien eingesetzt werden kann. GraphHyperConv erzielt bessere Ergebnisse als GraphHyperMixer und ist insbesondere im transduktiven Setting besonders stark. Auf dem heterophilen Datensatz Roman-Empire erreicht es einen neuen Stand der Technik (state of the art). Bei den Aufgaben auf Graphenebene liefern unsere Modelle Leistungen, die vergleichbar sind mit denen von vergleichbar großen Modellen. Abstraktionsstudien untersuchen die Robustheit gegenüber verschiedenen Hyperparameterwahlen. Die Implementierung von HyperAggregation sowie der Code zur Wiederholung aller Experimente sind unter https://github.com/Foisunt/HyperAggregation verfügbar.