2ヶ月前

DropEdge: ノード分類向けの深層グラフ畳み込みネットワークへのアプローチ

Yu Rong; Wenbing Huang; Tingyang Xu; Junzhou Huang
DropEdge: ノード分類向けの深層グラフ畳み込みネットワークへのアプローチ
要約

\emph{オーバーフィッティング}と\emph{オーバースムージング}は、深層グラフ畳み込みネットワーク(GCNs)のノード分類における開発に際して主要な障壁となっています。特に、オーバーフィッティングは小規模データセットでの汎化能力を弱め、一方、オーバースムージングはネットワークの深さが増すにつれて入力特徴量から出力表現が孤立することによりモデルの学習を妨げます。本論文では、これらの問題を緩和する新しいかつ柔軟な技術であるDropEdgeを提案します。その中心的な機能として、DropEdgeは各訓練エポックにおいて入力グラフから一定数のエッジをランダムに削除し、データ拡張器としてだけでなくメッセージ伝播の低減器としても作用します。さらに、理論的に示した結果によれば、DropEdgeはオーバースムージングの収束速度を低下させるか、またはそれに起因する情報損失を軽減します。より重要な点は、私たちのDropEdgeが多くの他の基幹モデル(例:GCN, ResGCN, GraphSAGE, JKNet)と組み合わせて性能向上をもたらす一般的な技術であることです。複数のベンチマークに対する広範な実験により、DropEdgeが浅層および深層のGCNにおいて一貫して性能を向上させることを確認しています。また、DropEdgeによるオーバースムージング防止効果も経験的に可視化され、検証されています。コードは\url{https://github.com/DropEdge/DropEdge}で公開されています。

DropEdge: ノード分類向けの深層グラフ畳み込みネットワークへのアプローチ | 最新論文 | HyperAI超神経