그래프 신경망의 사전 학습 전략

많은 기계 학습의 응용 분야에서 모델은 훈련 데이터와 분포가 다른 테스트 예제에 대해 정확한 예측을 수행해야 하며, 훈련 중에 작업별 라벨이 부족한 경우가 많습니다. 이 도전 과제를 효과적으로 해결하는 방법은 데이터가 충분한 관련 작업에서 모델을 사전 훈련(pre-train)시키고, 그 다음에는 관심 있는 하류 작업(downstream task)에서 미세 조정(fine-tune)하는 것입니다. 사전 훈련은 많은 언어와 비전 영역에서 효과적이었지만, 그래프 데이터셋에서 사전 훈련을 효과적으로 사용하는 방법은 여전히 개방된 질문입니다. 본 논문에서는 그래프 신경망(GNNs, Graph Neural Networks)의 사전 훈련을 위한 새로운 전략과 자기 지도 학습(self-supervised) 방법을 개발합니다. 우리의 전략이 성공할 수 있는 핵심은 개별 노드 및 전체 그래프 수준에서 표현력이 뛰어난 GNN을 사전 훈련시키는 것입니다. 이를 통해 GNN은 유용한 지역적 및 전역적 표현을 동시에 학습할 수 있습니다. 우리는 여러 그래프 분류 데이터셋에서 사전 훈련을 체계적으로 연구했습니다. 단순한 전략, 즉 전체 그래프 또는 개별 노드 수준에서만 GNN을 사전 훈련시키는 방법은 제한적인 개선만 이루어지고, 많은 하류 작업에서 부정적인 전이(negative transfer)를 초래할 수도 있다는 것을 발견했습니다. 반면에, 우리의 전략은 부정적인 전이를 피하고 하류 작업 간에 일반화를 크게 개선하여, 비사전훈련 모델 대비 ROC-AUC(Relative Operating Characteristic - Area Under Curve)에서 최대 9.4% 절대적인 개선을 보였으며, 분자 특성 예측(molecular property prediction) 및 단백질 기능 예측(protein function prediction)에서 최신 성능(state-of-the-art performance)을 달성하였습니다.