要約
グラフ畳み込みネットワーク（GCN）は、グラフベースの半教師付き学習において大きな進展を遂げてきた。従来の手法は、グラフのエッジによって接続されたノードは、属性やラベルが類似している傾向があると仮定している。この仮定のもと、局所的なグラフ構造によって平滑化された特徴量がクラス間の類似性を明らかにすることができる。しかし、多くの現実世界のシナリオでは、グラフ構造とラベルの間に不一致が生じることが多く、構造が誤った特徴量やラベルを伝搬させることで、モデルの性能が低下する場合がある。本論文では、グラフ畳み込みネットワークに自己教師学習と自己蒸留（self-distillation）を組み込むマルチタスク自己蒸留フレームワークを提案する。このフレームワークは、構造側とラベル側の両方から不一致問題に別々に対処することを目的としている。まず、事前テキストタスク（pre-text task）に基づく自己教師学習パイプラインを構築し、グラフ内の異なるレベルの類似性を捉える。特徴抽出プロセスにおいて、事前テキストタスクとターゲットタスクを同時に最適化することで、より複雑な近接性を捉える能力が促進される。その結果、構造側から見た局所的な特徴集約が向上する。次に、自己蒸留はモデル自身のソフトラベルを追加の監督信号として用いる。これはラベルスムージングと類似した効果をもたらす。分類パイプラインと自己教師学習パイプラインの両方から得られる知識を統合的に蒸留することで、ラベル側からモデルの汎化能力が向上する。実験の結果、提案手法は複数の代表的なグラフ畳み込みネットワークアーキテクチャにおいて顕著な性能向上を達成した。