通信不要型分散GNN学習：頂点カットを用いた手法

現実世界のグラフ（数十億ノードおよびエッジを含む）上でグラフニューラルネットワーク（GNN）を訓練することは、グラフおよびその中間ノード・エッジ特徴を格納するための膨大なメモリ要件により、極めて困難である。さらに、訓練プロセスの高速化が急務である。従来の高速化手法として、グラフを多数の小さな部分グラフに分割し、複数のGPU（1台以上のマシンに跨って）に分散して並列処理する方法が広く用いられている。しかし、既存の分散手法はGPU間で頻繁かつ大量の通信を必要とし、著しい時間オーバーヘッドを引き起こし、スケーラビリティが段階的に低下するという課題を抱えている。本研究では、通信を完全に回避する「通信フリー」な訓練を実現することで、訓練プロセスを顕著に高速化する新しい分散GNN訓練フレームワーク、CoFree-GNNを提案する。このフレームワークは、分割時のエッジ切断ではなく「頂点カット（Vertex Cut）」による分割を採用しており、部分グラフ間のエッジを分割し、ノード情報を複製することでグラフ構造を維持する。また、複製されたノードによって生じるグラフ分布の歪みを補正するため、再重み付け（reweighting）機構を導入することで、高いモデル精度を維持している。さらに、訓練速度をさらに向上させるために、改良型のDropEdge技術を提案している。実世界のネットワークを用いた広範な実験により、CoFree-GNNが既存の最先端GNN訓練手法に比べ、最大10倍の高速化を達成することを実証した。