注意に基づくグラフニューラルネットワークを用いた半教師あり学習

最近、グラフニューラルネットワークが注目を集め、グラフベースの半教師あり学習における複数の標準的なベンチマークデータセットで最先端の精度を達成し、既存の手法を大幅に上回っています。これらのアーキテクチャは、局所近傍の隠れ状態を集約する伝播層と全結合層を交互に配置しています。意外にも、中間の全結合層を取り除いた線形モデルでも、最先端モデルと同等の性能を達成できることが示されました。これによりパラメータ数が大幅に削減され、これは教師付きサンプル数が少ない半教師あり学習において極めて重要です。また、これによりより革新的な伝播層の設計余地が生まれます。この洞察に基づいて、私たちは中間の全結合層を取り除き、グラフの構造を尊重する注意機構で伝播層を置き換えた新しいグラフニューラルネットワークを提案します。注意機構により、近傍の動的かつ適応的なローカルサマリーを学習し、より正確な予測を行うことができます。ベンチマーク引用ネットワークデータセットでの複数の実験において、私たちの手法が競合手法を上回ることを示しています。近傍間の注意重みを検討することで、近傍どうしがどのように影響を与え合うかについて興味深い洞察を得ることができました。