HyperAIHyperAI

Command Palette

Search for a command to run...

Verständnis von Over-Squashing und Bottlenecks auf Graphen mittels Krümmung

Jake Topping Francesco Di Giovanni Benjamin Paul Chamberlain Xiaowen Dong Michael M. Bronstein

Zusammenfassung

Die meisten Graph Neural Networks (GNNs) basieren auf dem Message-Passing-Paradigma, bei dem Knotenmerkmale über den Eingabegraphen propagiert werden. Neuere Arbeiten haben darauf hingewiesen, dass die Verzerrung der Information, die von entfernten Knoten ausgeht, einen Faktor darstellt, der die Effizienz des Message Passing für Aufgaben mit langreichweitigen Interaktionen einschränkt. Dieses Phänomen, als „Over-Squashing“ bezeichnet, wurde bisher heuristisch auf Graph-Bottlenecks zurückgeführt, bei denen die Anzahl der kkk-Hop-Nachbarn mit wachsendem kkk rasch ansteigt. Wir geben eine präzise Beschreibung des Over-Squashing-Phänomens in GNNs an und analysieren, wie es aus Bottlenecks im Graphen entsteht. Dazu führen wir eine neue, kantenbasierte kombinatorische Krümmung ein und beweisen, dass negativ gekrümmte Kanten für das Over-Squashing-Problem verantwortlich sind. Zudem schlagen wir eine auf Krümmung basierende Methode zur Umstrukturierung des Graphen vor und testen sie experimentell, um das Over-Squashing zu mildern.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp