GraphGPT: 생성형 사전 훈련 그래프 오일러 변환기

우리는 그래프 학습을 위한 새로운 자기지도 학습 기반 생성형 사전 훈련 모델인 GraphGPT을 소개한다. 이 모델은 그래프 오일러 변환기(Graph Eulerian Transformer, GET) 기반으로 구축되었다. 먼저, GET은 표준 트랜스포머 인코더 또는 디코더 아키텍처와 혁신적인 그래프-시퀀스 변환 방법을 결합한 모델이다. 이 변환 방법은 오일러 경로(Eulerian path)를 활용하여 그래프 또는 샘플링된 부분 그래프를 노드, 엣지, 속성 등을 나타내는 토큰 시퀀스로 가역적으로 변환한다. GET은 다음 토큰 예측(next-token prediction, NTP)과 계획된 마스킹 토큰 예측(scheduled masked-token prediction, SMTP) 중 하나의 자기지도 학습 태스크를 사용하여 사전 훈련한다. 이후 사전 훈련된 모델은 그래프 수준, 엣지 수준, 노드 수준의 예측과 같은 하류 작업에 대해 미세 조정(fine-tuning)된다. 간단한 구조임에도 불구하고 GraphGPT은 다양한 대규모 Open Graph Benchmark(OGB) 데이터셋에서 최첨단 기법과 비교해 유사하거나 더 뛰어난 성능을 달성한다. 특히 분자 성질 예측 데이터셋인 PCQM4Mv2와 단백질-단백질 상호작용 데이터셋 ogbl-ppa에서 뛰어난 성과를 보였다. 특히 생성형 사전 훈련 기법을 통해 GraphGPT는 20억 파라미터 규모까지 확장 가능하면서도 성능 향상을 유지할 수 있었으며, 이는 기존 그래프 신경망(GNN)과 이전의 그래프 트랜스포머(GT)의 확장성 한계를 극복한 획기적인 성과이다. 그래프 기초 모델 연구를 촉진하고 화학, 재료 과학 등 관련 분야에서 과학적 발견을 지원하기 위해, 우리는 소스 코드(https://github.com/alibaba/graph-gpt)와 사전 훈련된 체크포인트를 공개할 예정이다.