통신 없이 분산된 GNN 훈련: 정점 절단 기법을 활용한 접근

실제 세계의 그래프(수십억 개의 노드와 엣지로 구성)에서 그래프 신경망(GNN)을 훈련하는 것은, 그래프 및 중간 노드와 엣지 특성을 저장하기 위한 막대한 메모리 요구와 함께 훈련 속도를 높일 필요성이 절실한 매우 도전적인 과제이다. 일반적으로 속도를 향상시키기 위해 그래프를 여러 개의 작은 하위 그래프로 분할한 후, 하나 이상의 머신에 분산된 다수의 GPU에 배포하여 병렬로 처리하는 방식이 사용된다. 그러나 기존의 분산 방법은 GPU 간 빈번하고 방대한 통신을 필요로 하여 상당한 시간 오버헤드를 발생시키며, 점차적으로 확장성이 떨어지는 문제가 있다. 본 연구에서는 통신 없이 훈련이 가능한 방식을 도입함으로써 훈련 과정을 크게 가속화하는 새로운 분산 GNN 훈련 프레임워크인 CoFree-GNN을 제안한다. 이 프레임워크는 엣지를 자르는 방식이 아닌, 노드를 자르는 Vertex Cut 분할 기법을 활용한다. 즉, 분할 간 엣지를 자르는 대신 엣지를 분할하고, 노드 정보를 중복하여 보존함으로써 그래프 구조를 유지한다. 또한, 중복된 노드로 인해 발생하는 그래프 분포의 왜곡을 보정하기 위해 재가중화(reweighting) 메커니즘을 도입함으로써 모델의 정확도를 높이는 동시에, 훈련 속도를 further 높이기 위해 수정된 DropEdge 기법을 제안한다. 실제 네트워크를 대상으로 실시한 광범위한 실험을 통해 CoFree-GNN이 기존 최고 수준의 GNN 훈련 방법 대비 최대 10배까지 훈련 속도를 향상시킴을 입증하였다.