15일 전

BNS-GCN: 분할 병렬성과 무작위 경계 노드 샘플링을 통한 그래프 컨볼루션 네트워크의 효율적인 전체 그래프 학습

Cheng Wan, Youjie Li, Ang Li, Nam Sung Kim, Yingyan Lin
BNS-GCN: 분할 병렬성과 무작위 경계 노드 샘플링을 통한 그래프 컨볼루션 네트워크의 효율적인 전체 그래프 학습
초록

그래프 컨볼루션 네트워크(GCNs)는 그래프 기반 학습 작업에서 최신 기술로 부상하고 있다. 그러나 대규모 GCN 학습은 여전히 도전 과제이며, 이는 더 복잡한 GCN 아키텍처 탐색과 실제 대규모 그래프에 대한 적용을 방해하고 있다. 이 문제를 해결하기 위해 그래프 분할과 분산 학습을 고려하는 것은 자연스러운 접근이지만, 이 분야는 기존 설계의 한계로 인해 여전히 미흡한 수준에서만 다뤄져 왔다. 본 연구에서는 분산 GCN 학습이 비효율적인 이유를 분석하고, 각 하위 그래프의 경계 노드 수가 과도하게 많아지기 때문에 메모리와 통신 비용이 급격히 증가한다는 근본 원인을 규명한다. 또한, 무작위 경계 노드 샘플링(Random Boundary-Node-Sampling)을 도입하는 간단하면서도 효과적인 방법인 BNS-GCN을 제안한다. 이 방법은 효율적이고 확장 가능한 분산 GCN 학습을 가능하게 한다. 실험 및 아블레이션 연구를 통해 BNS-GCN의 효과가 일관되게 입증되었으며, 예를 들어 처리량을 최대 16.2배 향상시키고 메모리 사용량을 최대 58% 감소시키면서도 전체 그래프 정확도를 유지함을 확인하였다. 또한 이론적·실증적 분석을 통해 BNS-GCN이 기존 샘플링 기반 방법보다 더 우수한 수렴 성능을 보임을 입증하였다. 우리는 BNS-GCN이 대규모 GCN 학습을 가능하게 하는 새로운 패러다임을 여는 데 기여했다고 믿는다. 코드는 다음 링크에서 공개되어 있다: https://github.com/RICE-EIC/BNS-GCN.

BNS-GCN: 분할 병렬성과 무작위 경계 노드 샘플링을 통한 그래프 컨볼루션 네트워크의 효율적인 전체 그래프 학습 | 최신 연구 논문 | HyperAI초신경