15日前

ユニバーサルなディープGNNs:過剰なスムージングを防ぐためのパス分解の観点からGNNにおけるリジッド接続を見直す

Jie Chen, Weiqi Liu, Zhizhong Huang, Junbin Gao, Junping Zhang, Jian Pu
ユニバーサルなディープGNNs:過剰なスムージングを防ぐためのパス分解の観点からGNNにおけるリジッド接続を見直す
要約

GNNの深さが増すにつれて、過剰な平滑化(over-smoothing)のため性能が低下する。過剰平滑化を防ぐための多くの試みがなされているが、その中でもリザルト接続(residual connection)はその単純さから有望な手法の一つである。しかしながら、最近の研究では、リザルト接続を導入したGNNであっても、性能劣化の進行をわずかに遅らせるにとどまっていることが示されている。リザルト接続がGNNにおいて効果を発揮しない理由は、依然として不明である。本論文では、リザルト接続を有するGNNの前向き伝搬および逆伝搬特性について、新たな経路分解(path decomposition)の視点から分析する。その結果、リザルト接続経路が二項分布に従って生成される中で、中央値長の経路の再帰的集約が出力表現を支配し、GNNの深さ増加に伴って過剰平滑化が生じることを明らかにした。また、重なり合う伝搬経路と重み行列が勾配の平滑化を引き起こし、リザルト接続を備えたGNNが恒等写像(identity mapping)への最適化を妨げていることも明らかになった。これらの知見をもとに、冷スタート適応型リザルト接続(DRIVE)とフィードフォワードモジュールを備えた汎用的深層GNNフレームワーク(Universal Deep GNNs: UDGNN)を提案する。広範な実験により、本手法の有効性を検証した結果、標準的なGNNを単純に積層するだけで、非均一性(heterophily)を示す非平滑化データセットにおいて、最先端の性能を達成した。

ユニバーサルなディープGNNs:過剰なスムージングを防ぐためのパス分解の観点からGNNにおけるリジッド接続を見直す | 最新論文 | HyperAI超神経