HyperAIHyperAI

Command Palette

Search for a command to run...

Baumzerlegte Graph-Neuronale Netzwerke

Yu Wang; Tyler Derr

Zusammenfassung

Graph Neural Networks (GNNs) haben bei der Verbesserung von Repräsentationen durch iterative Feature-Propagation und -Transformation, um Nachbarschaftsinformationen zu nutzen, erheblichen Erfolg erzielt. Dennoch führt die iterative Propagation dazu, dass Informationen aus höheren Schichten nur über und in Verbindung mit den Nachbarschaften der unteren Schichten transportiert werden können. Dies resultiert unvermeidlich in einer Feature-Glättung zwischen den Nachbarschaften verschiedener Schichten und kann die Leistungsfähigkeit beeinträchtigen, insbesondere auf heterophilen Netzwerken. Darüber hinaus erkennen die meisten tiefen GNNs zwar die Bedeutung der Nachbarschaften höherer Schichten, aber sie haben die Bedeutung der Multi-Hop-Abhängigkeiten im Kontext verschiedener Schichtennachbarschaften bei der Verbesserung von Repräsentationen noch nicht vollständig erforscht.In dieser Arbeit analysieren wir zunächst theoretisch die Feature-Glättung zwischen den Nachbarschaften verschiedener Schichten und zeigen empirisch die Varianz des Homophiliegrads in Nachbarschaften unterschiedlicher Schichten. Angeregt durch diese Analysen schlagen wir eine Baumzerlegungsmethode vor, um die Nachbarschaften verschiedener Schichten zu entkoppeln und so die Feature-Glättung zwischen diesen Schichten zu reduzieren. Zudem charakterisieren wir die Multi-Hop-Abhängigkeiten durch Graph-Diffusion innerhalb unserer Baumzerlegungsformulierung, um das Tree Decomposed Graph Neural Network (TDGNN) zu konstruieren. TDGNN kann flexibel Informationen aus großen Rezeptorfeldern integrieren und diese Informationen unter Verwendung der Multi-Hop-Abhängigkeiten aggregieren.Umfassende Experimente belegen die überlegene Leistungsfähigkeit von TDGNN sowohl auf homophilen als auch auf heterophilen Netzwerken in verschiedenen Node-Klassifikationsszenarien. Eine detaillierte Parameteranalyse hebt hervor, dass TDGNN Over-Smoothing verhindern und Features aus flachen Schichten mit tieferliegenden Multi-Hop-Abhängigkeiten kombinieren kann, was neue Erkenntnisse für tiefere Graph Neural Networks liefert.Quellcode von TDGNN: http://github.com/YuWVandy/TDGNN


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Baumzerlegte Graph-Neuronale Netzwerke | Paper | HyperAI