GraphMAE: 자기지도 마스킹 그래프 오토인코더

최근 몇 년간 자기지도 학습(self-supervised learning, SSL)은 광범위하게 탐구되어 왔다. 특히 생성형 SSL(generative SSL)은 자연어 처리 및 기타 AI 분야에서 두드러진 성과를 거두었으며, BERT와 GPT와 같은 모델의 넓은 도입을 통해 그 가능성이 입증되었다. 그러나 구조적 데이터 증강(structural data augmentation)과 복잡한 학습 전략에 크게 의존하는 대조형 학습(contrastive learning)이 그래프 SSL(graph SSL) 분야에서 여전히 주류를 이루고 있는 반면, 그래프 분야에서의 생성형 SSL, 특히 그래프 오토인코더(graph autoencoders, GAEs)의 성과는 다른 분야에서 예측한 잠재력에 비해 아직 미흡한 실적을 보이고 있다. 본 논문에서는 그래프 오토인코더의 발전을 저해하는 문제들을 규명하고 분석한다. 이는 재구성 목적(reconstruction objective), 학습의 안정성(training robustness), 오차 측정 지표(error metric) 등에 관련된 문제들이다. 이를 해결하기 위해, 생성형 자기지도 그래프 사전학습을 위한 마스킹 그래프 오토인코더(GraphMAE)를 제안한다. GraphMAE는 그래프 구조의 재구성보다는 특징(feature) 재구성에 초점을 맞추며, 마스킹 전략과 스케일링된 코사인 오차(scaled cosine error)를 도입함으로써 학습의 안정성을 향상시킨다. 본 연구는 세 가지 다른 그래프 학습 작업을 위한 21개의 공개 데이터셋에서 광범위한 실험을 수행하였다. 결과적으로, 정교한 설계를 갖춘 단순한 그래프 오토인코더인 GraphMAE가 대조형 및 생성형 최신 기법들을 일관되게 능가함을 확인할 수 있었다. 본 연구는 그래프 오토인코더에 대한 이해를 심화시키며, 그래프에서의 생성형 자기지도 사전학습의 잠재력을 입증한다.