15 天前
BNS-GCN:基于分区并行与随机边界节点采样的图卷积网络高效全图训练
Cheng Wan, Youjie Li, Ang Li, Nam Sung Kim, Yingyan Lin

摘要
图卷积网络(Graph Convolutional Networks, GCNs)已成为图学习任务中的前沿方法。然而,大规模训练GCN仍然面临诸多挑战,这不仅限制了更复杂GCN架构的探索,也阻碍了其在现实世界大规模图数据上的应用。尽管采用图划分与分布式训练似乎是应对该挑战的自然思路,但以往研究在此方向上仅触及皮毛,主要受限于现有设计的不足。本文首先分析了分布式GCN训练效率低下的原因,发现其根本问题在于每个划分子图中边界节点数量过多,导致内存开销和通信成本急剧上升。针对这一问题,我们提出了一种简单而高效的方法——BNS-GCN,该方法通过引入随机边界节点采样(Boundary-Node-Sampling, BNS)机制,显著提升了分布式GCN训练的效率与可扩展性。实验与消融研究一致验证了BNS-GCN的有效性:在保持全图精度的前提下,最高可提升训练吞吐量达16.2倍,内存使用降低最高达58%。此外,理论分析与实证结果均表明,BNS-GCN在收敛性方面优于现有基于采样的方法。我们相信,BNS-GCN为实现大规模GCN训练开辟了一种全新的范式。相关代码已开源,地址为:https://github.com/RICE-EIC/BNS-GCN。