グラフトポロジーによって誘導される最適輸送を用いたグラフニューラルネットワークのファインチューニング

近年、グラフ学習分野において、ラベル不足の問題を緩和する力を持つことから、事前学習・微調整（pretrain-finetuning）の枠組みが注目を集めている。現在の研究では、画像やテキストデータから導かれた既存の技術、たとえば重み制約や表現制約を用いて、事前学習段階で得られた不変性の知識を微調整段階に転移している。しかし、これらの手法はグラフ構造およびグラフニューラルネットワーク（GNN）モデルにおける不変性を十分に保持できていない。本論文では、GNNアーキテクチャを対象とする新しい最適輸送に基づく微調整フレームワーク、GTOT-Tuning（Graph Topology induced Optimal Transport fine-Tuning）を提案する。GTOT-Tuningは、グラフデータの特性を活用し、微調整後のネットワークが生成する表現の不変性を強化することを目的としている。そのために、グラフの局所的知識転移を構造的事前知識を備えた最適輸送（Optimal Transport, OT）問題として定式化し、微調整モデルの挙動を制約するためのGTOT正則化項を構築した。ノード間の隣接関係を活用することで、GTOT正則化項はノードレベルでの最適輸送プロセスを実現し、冗長な輸送を削減することで、事前学習モデルからの効率的な知識転移を実現する。我々は、複数のGNNバックボーンを用いて8つの下流タスクにおいてGTOT-Tuningを評価し、GNNにおける微調整性能において最先端の結果を達成することを示した。