随着大模型参数规模突破单卡显存极限，分布式训练策略的选择已成为影响算力效率的核心环节。主流方案DDP、ZeRO及FSDP本质上是模型状态分片程度的不同权衡。DDP保持模型完整复制，通信开销低但显存占用高；FSDP将参数、梯度与优化器状态全部分片，显著降低显存需求，但层间频繁的数据交换带来巨大通信压力；ZeRO则提供阶梯式分片选项，允许开发者在显存与带宽之间灵活调节。实验表明，在四卡A100环境下，DDP可运行小模型微调，而Mistral-7B等大模型仅能通过FSDP或ZeRO-3勉强载入。 策略的优劣并非绝对，实际性能高度依赖底层硬件拓扑。测试显示，GPU间的物理连接方式可使训练吞吐率产生数倍差异。采用NVSwitch架构的全互联节点提供稳定高速通道，FSDP在此类环境下可与DDP持平；而采用NVL桥接的节点存在连接不均问题，若任务跨节点调度，通信将降级至PCIe总线，导致整体吞吐下降3至5倍。在慢速互连下，策略差异被通信瓶颈掩盖，全部分片方案性能趋于一致。 业界建议，部署分布式训练前应核查节点拓扑，明确采用全互联还是桥接架构。显存受限时优先采用分片策略，但在非理想布线环境下，需做好通信开销剧增的准备。模型架构演进与底层互联技术的协同优化，正成为突破大模型训练瓶颈的关键路径。