複数GPUを活用した分散AI処理において、GPU間のデータ通信は核心的な役割を果たす。PyTorchのtorch.distributedモジュールが提供する通信操作は、主に「ポイントツーポイント通信」と「コレクティブ操作（集約操作）」の2種類に分けられる。ポイントツーポイント通信は、特定の2つのGPU間での直接的なデータ送受信を可能にし、基本的な通信 primitives として機能する。一方、コレクティブ操作は複数のGPUが協調してデータを共有・集約する仕組みであり、分散学習の基盤となる。 これらの操作は、NVIDIA GPUではNCCL（NVIDIA Collective Communications Library）、AMD GPUではRCCLがバックエンドとして実装されている。NCCLはPCIe、NVLink、InfiniBandといった高速接続を自動検出し、最適な経路を選択して通信を最適化する。通信は同期（ブロッキング）と非同期（ノンブロッキング）の2パターンがあり、前者は処理が完了するまで待機するのに対し、後者は処理をキューに登録した後に即座に次のタスクを実行できる。 コレクティブ操作には、以下の種類がある。 - Broadcast（ブロードキャスト）：1つのGPUがデータを全GPUに配信。 - Scatter（スキャター）：1つのGPUがデータを分割して各GPUに送る。 - Reduce（リダクション）：全GPUのデータを集約し、1つのGPUに結果をまとめる（例：合計値の計算）。 - Gather（ガザー）：全GPUのデータを1つのGPUに集める。 - All-Reduce：全GPUがデータを集約し、結果を全GPUに配信。 - All-Gather：全GPUがデータを共有し、全GPUに完全なリストを配信。 - Reduce-Scatter：各GPUがデータを集約した後、結果を分割して全GPUに配信。 これらの操作は、async_op=Trueで非同期実行も可能。非同期通信では、request.wait()やtorch.cuda.synchronize()で処理の完了を待機する必要がある。特にtorch.distributed.recv()の初回呼び出しは内部のウォームアップのため、実際の転送完了までブロッキングされる点に注意が必要。誤った順序でデータにアクセスすると、CPUがGPUからのデータ到着を待って処理が止まる（ハング）現象が発生する。 分散AIの実装において、通信の設計と同期の管理は、性能と正しさを左右する重要な要素である。次回は、PCIeやNVLinkといった物理接続技術が通信にどのように寄与するかを解説する。