15日前

より深層なグラフニューラルネットワークへ

Meng Liu, Hongyang Gao, Shuiwang Ji
より深層なグラフニューラルネットワークへ
要約

グラフニューラルネットワークは、グラフ表現学習分野において顕著な成功を収めている。特に、グラフ畳み込みは近傍ノードの集約(neighborhood aggregation)を実行し、最も重要なグラフ操作の一つとされている。しかし、これらの近傍集約手法は1層のみで即時近傍の情報しか考慮しないため、受容場(receptive field)を拡大するためにネットワークを深くしていくと性能が低下する傾向にある。近年のいくつかの研究では、この性能劣化の原因として「過度な平滑化(over-smoothing)」問題が指摘されており、これは繰り返しの伝搬によって異なるクラスのノード表現が区別できなくなる現象を指す。本研究では、この現象を体系的に検討し、より深いグラフニューラルネットワークの構築に関する新たな知見を提示する。まず、この問題に対する体系的な分析を行い、性能低下の主な要因は、現在のグラフ畳み込み演算において表現変換(representation transformation)と伝搬(propagation)が強く混合(entanglement)していることに起因すると主張する。この2つの操作を分離(decoupling)することで、より深いグラフニューラルネットワークを用いて、広範な受容場からの情報を効果的に学習することが可能となる。さらに、極めて深いモデルを構築する際の上記観察について理論的解析を行い、過度な平滑化現象を厳密かつ穏やかに記述する枠組みを提供する。本研究の理論的および実証的分析に基づき、広範な受容場からの情報を適応的に統合できる「Deep Adaptive Graph Neural Network(DAGNN)」を提案する。学術論文引用、共同著者関係、共同購入データセットを用いた一連の実験により、本研究の分析と洞察が裏付けられ、提案手法の優位性が実証された。

より深層なグラフニューラルネットワークへ | 最新論文 | HyperAI超神経