15日前

グラフニューラルアグリゲーション・ディフュージョンと定常性

Kaiyuan Cui, Xinyan Wang, Zicheng Zhang, Weichen Zhao
グラフニューラルアグリゲーション・ディフュージョンと定常性
要約

微分方程式に基づく連続的グラフニューラルモデルは、グラフニューラルネットワーク(GNN)のアーキテクチャを拡張してきた。グラフ拡散とメッセージパッシングの間の密接な関係から、拡散に基づくモデルは広く研究されている。しかし、拡散は自然にシステムを平衡状態へと導くため、過剰な平滑化(over-smoothing)といった問題が生じる。こうした課題に対処するため、グラフ集約-拡散方程式に着想を得たGRADEを提案する。本モデルは、相互作用ポテンシャルによって引き起こされる非線形拡散と集約の微妙なバランスを内包している。集約-拡散方程式によって得られるノード表現は、準安定性(metastability)を示し、特徴量が複数のクラスタに集約される傾向がある。さらに、これらのクラスタ内部の動的挙動は長期間にわたって持続可能であり、過剰な平滑化の緩和に貢献する可能性を秘めている。本モデルにおける非線形拡散は、従来の拡散ベースモデルを一般化するとともに、古典的なGNNとつながりを持つ。実証的に、GRADEが様々なベンチマークで競争力ある性能を達成し、ディリクレエネルギーの向上によってGNNにおける過剰な平滑化問題が緩和されることを示した。

グラフニューラルアグリゲーション・ディフュージョンと定常性 | 最新論文 | HyperAI超神経