15日前

対照的リンクから自己知識を蒸留することで、メッセージの伝達なしにグラフノードを分類する

Yi Luo, Aiguo Chen, Ke Yan, Ling Tian
対照的リンクから自己知識を蒸留することで、メッセージの伝達なしにグラフノードを分類する
要約

現在、メッセージ伝達(Message Passing)パラダイムに従うグラフニューラルネットワーク(GNN)が、グラフデータ上で学習を行う主流の手法となっている。このパラダイムに従うモデルは、隣接ノードを探索するために隣接行列(adjacency matrix)を用いる必要があり、また複数の隣接ノードからのメッセージを集約するための追加時間も要する。この問題に対処するため、本研究では、隣接ノードペアから自己知識を抽出し、メッセージの集約を必要とせずにマルチレイヤーパーセプトロン(MLP)に知識蒸留(distillation)する手法「LinkDist」を提案する。8つの実世界データセットを用いた実験の結果、LinkDistによって得られたMLPはノードの隣接関係を知らなくてもノードラベルを予測可能であり、半教師ありおよび完全教師ありノード分類の文脈において、GNNと同等の精度を達成した。さらに、LinkDistはメッセージ伝達を採用しない非メッセージ伝達パラダイムを採用しており、任意にサンプリングされたノードペアから対照学習(contrastive learning)の形で自己知識を蒸留可能であるため、性能のさらなる向上が可能となる。

対照的リンクから自己知識を蒸留することで、メッセージの伝達なしにグラフノードを分類する | 最新論文 | HyperAI超神経