2ヶ月前

Mambaを基盤とするグラフ畳み込みネットワーク:選択的状態空間による過平滑化の解決

Xin He; Yili Wang; Wenqi Fan; Xu Shen; Xin Juan; Rui Miao; Xin Wang
Mambaを基盤とするグラフ畳み込みネットワーク:選択的状態空間による過平滑化の解決
要約

グラフニューラルネットワーク(GNN)は、さまざまなグラフベースの学習タスクにおいて大きな成功を収めています。しかし、モデルの深さが増加するにつれて、過度な平滑化(over-smoothing)という問題に直面することがよくあります。この問題は、すべてのノード表現が単一の値に収束し、区別できなくなることを引き起こします。これは、GNNが異なる近傍からの情報の重要性を区別することに苦労するという固有の制限から生じています。本論文では、Mambaパラダイム(元々シーケンスモデリングのために設計された)から着想を得た新しいグラフ畳み込みアーキテクチャであるMbaGCNを紹介します。MbaGCNは、メッセージ集約層(Message Aggregation Layer)、選択的状態空間遷移層(Selective State Space Transition Layer)、およびノード状態予測層(Node State Prediction Layer)という3つの主要な構成要素からなる新たなバックボーンを提供します。これらの構成要素は協調して動作し、近傍情報の適応的な集約を可能とすることで、深いGNNモデルに対してより高い柔軟性と拡張性を提供します。MbaGCNが各データセットで既存のすべての手法を一貫して上回るわけではありませんが、Mambaパラダイムをグラフ表現学習に効果的に統合するための基礎的なフレームワークを示しています。ベンチマークデータセットを使用した広範な実験を通じて、MbaGCNがグラフニューラルネットワーク研究における将来の進歩への道を開くことを示しています。

Mambaを基盤とするグラフ畳み込みネットワーク:選択的状態空間による過平滑化の解決 | 最新論文 | HyperAI超神経