15일 전
GRAND+: 확장 가능한 그래프 랜덤 신경망
Wenzheng Feng, Yuxiao Dong, Tinglin Huang, Ziqi Yin, Xu Cheng, Evgeny Kharlamov, Jie Tang

초록
그래프 신경망(GNN)은 그래프 기반의 반감독 학습에 널리 활용되고 있다. 최근 연구에 따르면, 그래프 랜덤 신경망(GRAND) 모델이 이 문제에서 최첨단 성능을 달성할 수 있음이 입증되었다. 그러나 GRAND는 계산 비용이 높은 데이터 증강 절차에 의존하기 때문에 대규모 그래프 처리에 어려움을 겪는다는 한계가 있다. 본 연구에서는 반감독 그래프 학습을 위한 확장 가능하고 고성능의 GNN 프레임워크인 GRAND+를 제안한다. 위 문제를 해결하기 위해 GRAND+에서는 일반화된 전방 푸시(GFPush) 알고리즘을 개발하여 일반적인 전파 행렬을 사전 계산하고, 이를 미니배치 방식으로 그래프 데이터 증강에 활용한다. 우리는 GFPush가 낮은 시간 및 공간 복잡도를 갖기 때문에 GRAND+가 대규모 그래프에 효율적으로 확장될 수 있음을 입증한다. 더불어, GRAND+의 모델 최적화 과정에 신뢰도 인식 일관성 손실(confidence-aware consistency loss)을 도입함으로써, 모델의 일반화 성능 향상을 촉진한다. 다양한 규모의 7개 공개 데이터셋을 대상으로 광범위한 실험을 수행한 결과, GRAND+는 1) 대규모 그래프에 확장 가능하며 기존 확장 가능한 GNN보다 더 적은 실행 시간을 소요함을 보였고, 2) 모든 데이터셋에서 전체 배치(full-batch) 및 확장 가능한 GNN 모델 대비 일관된 정확도 향상을 제공함을 확인하였다.