그래프 구조에 의한 최적 운송을 통한 그래프 신경망의 피팅 조정

최근 그래프 학습 분야에서 사전 훈련(fine-tuning) 패러다임은 실세계 응용에서 라벨 부족 문제를 완화할 수 있는 강력한 능력으로 인해 큰 주목을 받고 있다. 기존 연구들은 이미지나 텍스트 데이터에서 유도된 기존 기법, 예를 들어 가중치 제약(weight constraint), 표현 제약(representation constraint) 등을 활용하여 사전 훈련 단계에서 얻은 불변 지식(invariant knowledge)을 미세 조정 단계로 전이하고자 했다. 그러나 이러한 방법들은 그래프 구조 및 그래프 신경망(GNN) 기반 모델의 불변성을 효과적으로 보존하지 못했다. 본 논문에서는 GNN 기반 백본 모델을 위한 새로운 최적 운송(optimal transport, OT) 기반 미세 조정 프레임워크인 GTOT-Tuning(Graph Topology induced Optimal Transport fine-Tuning)을 제안한다. GTOT-Tuning은 그래프 데이터의 특성을 활용하여 미세 조정된 네트워크가 생성하는 표현의 불변성을 강화하는 것을 목표로 한다. 이를 위해 그래프의 국소 지식 전이 문제를 구조적 사전 지식(structural prior)을 갖는 최적 운송 문제로 공식화하고, 미세 조정된 모델의 행동을 제약하기 위한 GTOT 정규화 항(GTOT regularizer)을 설계하였다. 노드 간 인접 관계를 이용함으로써 GTOT 정규화 항은 노드 단위의 최적 운송 절차를 실현하고, 중복적인 운송 절차를 감소시켜 사전 훈련된 모델로부터 효율적인 지식 전이를 가능하게 한다. 다양한 GNN 백본을 사용하여 8개의 하류 작업에 대해 GTOT-Tuning을 평가한 결과, 기존 방법 대비 최첨단의 미세 조정 성능을 달성함을 입증하였다.