要約
主流のグラフニューラルネットワーク（GNN）は、グラフの接続構造に過度に依存しており、既に顕在化しているいくつかの深刻な性能上の問題が存在する。例えば、スラスターモード問題（suspended animation problem）や過度平滑化問題（over-smoothing problem）などが挙げられる。さらに、グラフの本質的な相互接続性により、グラフ内部での並列処理が困難となる。これは大規模グラフにおいて特に問題となり、ノード間のバッチ処理をメモリ制約が制限するため、処理効率が著しく低下する。本論文では、グラフ畳み込みや集約演算子を一切用いない、完全にアテンション機構に基づく新たなグラフニューラルネットワーク「GRAPH-BERT（Graph-based BERT）」を提案する。GRAPH-BERTは、全体の大きな入力グラフを直接入力するのではなく、局所的な文脈内におけるリンクのないサブグラフをサンプリングして学習する。このアプローチにより、GRAPH-BERTは独立して効果的に学習可能である。また、事前学習済みのGRAPH-BERTは、監視ラベル情報や特定の応用指向の目的関数が存在する場合、必要に応じた微調整を加えることで、他の応用タスクへ直接転移利用が可能である。我々は、複数のグラフベンチマークデータセット上でGRAPH-BERTの有効性を検証した。事前学習段階ではノード属性再構成および構造復元タスクを用い、その後、ノード分類およびグラフクラスタリングタスクに対して微調整を行った。実験結果から、GRAPH-BERTは従来のGNNと比較して、学習の効果性と効率性の両面で優れた性能を発揮することが明らかになった。