大規模AIモデルの分散学習において、最適化戦略とGPU間配線構造がパフォーマンスに決定的な影響を与えることが実測で明らかになった。DDPは全GPUにモデルを複製するため通信負荷は小さいがメモリ消費が激しく、FSDPはモデルを分割してメモリ節約を図るが層ごとの再構成により通信頻度が高まる。DeepSpeedのZeRO-1から3は、メモリと通信のトレードオフを段階的に調整できる。実験ではA100環境でファインチューニングを実施し、メモリ収容不可時にFSDPが唯一の実行手段となることを確認した。 ソフトウェア戦略の成否は物理接続に大きく依存する。H200を搭載した2系統のノードでベンチマークと実負荷テストを行った。NVSwitch構成は全GPU間を対等な高速NVLinkで結び、ここではFSDPもDDPと同等のスループットを維持する。一方、NVLブリッジ構成ではブリッジ内のみが高速通信であり、グループを跨ぐとPCIe経由に切り替わる。グループ跨ぎの配置では通信帯域が約10分の1に低下し、実学習スループットは3から5倍に減速した。特に通信頻度の高いFSDPが最も影響を受け、低速配線環境では通信コストが支配的となり戦略間の差が縮小した。 結論として、分散学習の最適化ではデータ保持戦略と転送経路の両方を考慮する必要がある。NVSwitch環境ではメモリ要件に応じてFSDPを標準採用し、NVL環境ではグループ内にジョブを固定するか、低速配線を前提にDDPを選択する指針が示された。運用前にノード配線構造を確認し、ハードウェア制約に合わせた戦略選択が学習効率を左右する。