グラフ生成パターンを保存することでグラフニューラルネットワークのファインチューニングを行う

最近、グラフニューラルネットワーク（GNN）における事前学習と微調整（fine-tuning）の枠組みは、幅広いグラフマイニングタスクにおいて積極的に研究・応用されている。その成功は、事前学習用データセットと下流タスク用データセットの間における構造的一貫性に起因すると一般的に考えられているが、多くの現実世界のシナリオではこの一貫性が成立しない。既存の研究では、事前学習グラフと下流グラフの間の構造的乖離が、従来の微調整戦略を用いた場合の転移性能を著しく制限することが示されている。この構造的乖離は、モデルが事前学習グラフに過剰適合（overfitting）する原因となり、下流グラフの構造的特性を適切に捉えることの困難さを引き起こす。本論文では、構造的乖離の根本的な原因が、事前学習グラフと下流グラフの生成パターン（generative patterns）の不一致にあると特定した。さらに、下流グラフの生成パターンを保持するための新手法G-Tuningを提案する。下流グラフGを入力として、事前学習済みGNNを調整することで、そのグラフの生成パターンを表すグラフォン（graphon）Wを再構成するという核心的なアイデアである。しかし、グラフォンの正確な再構成は計算的に非常に高コストであることが知られている。この課題を克服するため、我々は理論的に任意のグラフォンに対して「グラフォン基底（graphon bases）」と呼ばれる代替的なグラフォン集合の存在を確立した。これらのグラフォン基底の線形結合を用いることで、効率的にグラフォンWを近似可能となる。この理論的発見が本手法の基礎となり、グラフォン基底とその重み係数の有効な学習を可能にしている。既存手法と比較して、G-Tuningはドメイン内転移学習において平均0.5%、ドメイン外転移学習において平均2.6%の性能向上を示した。