Graph Neural Aggregation-Diffusion mit Metastabilität

Kontinuierliche graphenbasierte neuronale Modelle, die auf Differentialgleichungen beruhen, haben die Architektur von Graph Neural Networks (GNNs) erweitert. Aufgrund des Zusammenhangs zwischen Graphen-Diffusion und Message-Passing wurden diffusionsbasierte Modelle weitgehend untersucht. Allerdings treibt die Diffusion naturgemäß das System in einen Gleichgewichtszustand, was zu Problemen wie Over-Smoothing führt. Um diesem Problem entgegenzuwirken, schlagen wir GRADE vor, inspiriert von Graphen-Aggregations-Diffusions-Gleichungen, die ein fein abgestimmtes Gleichgewicht zwischen nichtlinearer Diffusion und Aggregation durch Wechselwirkungspotentiale berücksichtigt. Die durch Aggregations-Diffusions-Gleichungen gewonnenen Knotenrepräsentationen zeigen metastabile Eigenschaften, was darauf hindeutet, dass Merkmale sich in mehrere Cluster aggregieren können. Darüber hinaus können die Dynamiken innerhalb dieser Cluster über längere Zeiträume bestehen bleiben, was das Potenzial bietet, die Effekte von Over-Smoothing zu mildern. Diese nichtlineare Diffusion in unserem Modell verallgemeinert bestehende diffusionsbasierte Modelle und stellt eine Verbindung zu klassischen GNNs her. Wir beweisen, dass GRADE auf verschiedenen Benchmarks konkurrenzfähige Leistung erzielt und das Over-Smoothing-Problem in GNNs durch eine verbesserte Dirichlet-Energie nachweislich verringert.