2ヶ月前

DeeperGCN: 深層GCNの訓練に必要なすべて

Guohao Li; Chenxin Xiong; Ali Thabet; Bernard Ghanem
DeeperGCN: 深層GCNの訓練に必要なすべて
要約

グラフ畳み込みネットワーク(GCNs)は、グラフ上の表現学習の能力により注目を集めています。しかし、深層化に伴い勾配消失、過平滑化、過学習などの問題が発生するため、畳み込みニューラルネットワーク(CNNs)のように非常に深い層を積み重ねることが可能な点とは異なり、GCNsはこれらの課題によって大規模グラフでの表現力が制限されています。本論文では、非常に深いGCNsを成功裏かつ信頼性高く訓練できるDeeperGCNを提案します。異なるメッセージ集約操作(例:平均、最大値)を統一するために微分可能な一般化された集約関数を定義し、さらに新たな正規化層であるMsgNormとGCNs用の前活性化型残差接続を提案します。Open Graph Benchmark (OGB) 上での広範な実験結果から、DeeperGCNはノード特性予測やグラフ特性予測の大規模グラフ学習タスクにおいて最先端の手法よりも大幅に性能を向上させることを示しています。詳細情報については https://www.deepgcns.org をご覧ください。注:「前活性化型」は「pre-activation」の一般的な日本語訳です。

DeeperGCN: 深層GCNの訓練に必要なすべて | 最新論文 | HyperAI超神経