그래프 생성 패턴을 보존함으로써 그래프 신경망의 파인튜닝

최근 들어, 그래프 신경망(GNN)의 사전 훈련 및 미세 조정(fine-tuning) 전략은 다양한 그래프 마이닝 작업에서 광범위하게 연구되고 적용되고 있다. 이 전략의 성공은 일반적으로 사전 훈련 데이터셋과 하류 데이터셋 간의 구조적 일관성에 기인한다고 보고되지만, 이러한 일관성은 많은 실세계 시나리오에서는 성립하지 않는다. 기존 연구들은 사전 훈련 그래프와 하류 그래프 간의 구조적 편차가 단순한 미세 조정 전략을 사용할 때 전이 성능을 크게 제한함을 보여주었다. 이러한 편차는 모델이 사전 훈련 그래프에 과적합되게 하며, 하류 그래프의 구조적 특성을 효과적으로 포착하는 데 어려움을 초래한다. 본 논문에서는 구조적 편차의 근본 원인을 사전 훈련 그래프와 하류 그래프 간의 생성 패턴(generative patterns)의 불일치로 식별한다. 더불어, 하류 그래프의 생성 패턴을 유지하는 G-Tuning을 제안한다. 하류 그래프 G가 주어질 때, 핵심 아이디어는 사전 훈련된 GNN을 조정하여, 해당 그래프의 그래폰(graphon) W를 재구성할 수 있도록 하는 것이다. 그러나 그래폰의 정확한 재구성은 계산적으로 매우 비효율적임이 잘 알려져 있다. 이 문제를 해결하기 위해, 주어진 그래폰에 대해 일련의 대체 그래폰, 즉 그래폰 기저(bases)가 존재함을 이론적으로 분석하였다. 이러한 그래폰 기저들의 선형 조합을 활용함으로써, 그래폰 W를 효율적으로 근사할 수 있다. 이 이론적 발견은 제안된 모델의 기반이 되며, 그래폰 기저와 그에 해당하는 계수를 효과적으로 학습할 수 있도록 한다. 기존 알고리즘들과 비교하여, G-Tuning은 도메인 내(in-domain) 및 도메인 외(out-of-domain) 전이 학습 실험에서 각각 평균 0.5%, 2.6%의 성능 향상을 보였다.