HyperAIHyperAI

Command Palette

Search for a command to run...

HyperAggregation: Aggregation über Graphenkanten mit Hypernetzen

Foisun

Zusammenfassung

HyperAggregation ist eine auf Hypernetzen basierende Aggregationsfunktion für Graph Neural Networks (GNNs). Es nutzt ein Hypernetz, um Gewichte dynamisch in Abhängigkeit von der Größe des aktuellen Nachbarschaftsbereichs zu generieren, die anschließend zur Aggregation dieser Nachbarschaft verwendet werden. Diese Aggregation mit den generierten Gewichten erfolgt ähnlich wie das Kanalmixing eines MLP-Mixers über variabel große Knotennachbarschaften. Wir demonstrieren HyperAggregation in zwei Modellen: GraphHyperMixer, das auf dem MLP-Mixer basiert, und GraphHyperConv, das von einem GCN abgeleitet ist, jedoch mit einer auf Hypernetzen basierenden Aggregationsfunktion. Wir führen Experimente auf verschiedenen Benchmark-Datensätzen durch, die sich auf die Knotenklassifikation, die Graphklassifikation und die Graphregression beziehen. Die Ergebnisse zeigen, dass HyperAggregation effektiv sowohl für homophile als auch für heterophile Datensätze in induktiven als auch transduktiven Szenarien eingesetzt werden kann. GraphHyperConv erzielt bessere Ergebnisse als GraphHyperMixer und ist insbesondere im transduktiven Setting besonders stark. Auf dem heterophilen Datensatz Roman-Empire erreicht es einen neuen Stand der Technik (state of the art). Bei den Aufgaben auf Graphenebene liefern unsere Modelle Leistungen, die vergleichbar sind mit denen von vergleichbar großen Modellen. Abstraktionsstudien untersuchen die Robustheit gegenüber verschiedenen Hyperparameterwahlen. Die Implementierung von HyperAggregation sowie der Code zur Wiederholung aller Experimente sind unter https://github.com/Foisunt/HyperAggregation verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
HyperAggregation: Aggregation über Graphenkanten mit Hypernetzen | Paper | HyperAI