15일 전

GRAND+: 확장 가능한 그래프 랜덤 신경망

Wenzheng Feng, Yuxiao Dong, Tinglin Huang, Ziqi Yin, Xu Cheng, Evgeny Kharlamov, Jie Tang
GRAND+: 확장 가능한 그래프 랜덤 신경망
초록

그래프 신경망(GNN)은 그래프 기반의 반감독 학습에 널리 활용되고 있다. 최근 연구에 따르면, 그래프 랜덤 신경망(GRAND) 모델이 이 문제에서 최첨단 성능을 달성할 수 있음이 입증되었다. 그러나 GRAND는 계산 비용이 높은 데이터 증강 절차에 의존하기 때문에 대규모 그래프 처리에 어려움을 겪는다는 한계가 있다. 본 연구에서는 반감독 그래프 학습을 위한 확장 가능하고 고성능의 GNN 프레임워크인 GRAND+를 제안한다. 위 문제를 해결하기 위해 GRAND+에서는 일반화된 전방 푸시(GFPush) 알고리즘을 개발하여 일반적인 전파 행렬을 사전 계산하고, 이를 미니배치 방식으로 그래프 데이터 증강에 활용한다. 우리는 GFPush가 낮은 시간 및 공간 복잡도를 갖기 때문에 GRAND+가 대규모 그래프에 효율적으로 확장될 수 있음을 입증한다. 더불어, GRAND+의 모델 최적화 과정에 신뢰도 인식 일관성 손실(confidence-aware consistency loss)을 도입함으로써, 모델의 일반화 성능 향상을 촉진한다. 다양한 규모의 7개 공개 데이터셋을 대상으로 광범위한 실험을 수행한 결과, GRAND+는 1) 대규모 그래프에 확장 가능하며 기존 확장 가능한 GNN보다 더 적은 실행 시간을 소요함을 보였고, 2) 모든 데이터셋에서 전체 배치(full-batch) 및 확장 가능한 GNN 모델 대비 일관된 정확도 향상을 제공함을 확인하였다.

GRAND+: 확장 가능한 그래프 랜덤 신경망 | 최신 연구 논문 | HyperAI초신경