HyperAIHyperAI

Command Palette

Search for a command to run...

通信不要型分散GNN学習:頂点カットを用いた手法

Kaidi Cao Rui Deng Shirley Wu Edward W Huang Karthik Subbian Jure Leskovec

概要

現実世界のグラフ(数十億ノードおよびエッジを含む)上でグラフニューラルネットワーク(GNN)を訓練することは、グラフおよびその中間ノード・エッジ特徴を格納するための膨大なメモリ要件により、極めて困難である。さらに、訓練プロセスの高速化が急務である。従来の高速化手法として、グラフを多数の小さな部分グラフに分割し、複数のGPU(1台以上のマシンに跨って)に分散して並列処理する方法が広く用いられている。しかし、既存の分散手法はGPU間で頻繁かつ大量の通信を必要とし、著しい時間オーバーヘッドを引き起こし、スケーラビリティが段階的に低下するという課題を抱えている。本研究では、通信を完全に回避する「通信フリー」な訓練を実現することで、訓練プロセスを顕著に高速化する新しい分散GNN訓練フレームワーク、CoFree-GNNを提案する。このフレームワークは、分割時のエッジ切断ではなく「頂点カット(Vertex Cut)」による分割を採用しており、部分グラフ間のエッジを分割し、ノード情報を複製することでグラフ構造を維持する。また、複製されたノードによって生じるグラフ分布の歪みを補正するため、再重み付け(reweighting)機構を導入することで、高いモデル精度を維持している。さらに、訓練速度をさらに向上させるために、改良型のDropEdge技術を提案している。実世界のネットワークを用いた広範な実験により、CoFree-GNNが既存の最先端GNN訓練手法に比べ、最大10倍の高速化を達成することを実証した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています