在大规模语言模型（LLM）训练中，混合专家模型（MoE）的专家并行（EP）通信面临巨大挑战。由于MoE模型具有动态稀疏激活特性（每个token仅激活少数专家），其通信模式本质上是全对全（all-to-all），但实际负载不均、通信开销大，导致训练效率低下。以DeepSeek-V3为代表的新型细粒度MoE模型，在未优化情况下，通信时间可占整体训练时间的50%以上。此外，动态路由机制引发“热专家”与“冷专家”负载不均问题，进一步加剧资源浪费。现有训练框架在支持多维并行、低精度计算和动态调度方面也面临适应性挑战，难以充分发挥NVIDIA Blackwell、Quantum InfiniBand和Spectrum-X等新一代硬件潜力。 为应对这些难题，NVIDIA Megatron Core框架引入了创新的通信优化方案——Hybrid-EP。该方案专为NVIDIA平台设计，结合NVLink与RDMA网络优势，实现接近硬件极限的通信带宽，同时最小化GPU流式多处理器（SM）资源占用，提升计算与通信重叠效率。 Hybrid-EP核心在于两个关键操作：dispatch（分发）与combine（合并）。它采用细粒度数据分块与多级流水线机制，将通信延迟隐藏，使EP带宽接近静态全对全通信的最优水平。每个CUDA块独立运行一个完整数据管道，不同线程组（warp group）负责不同阶段任务：RDMA组负责跨节点网络传输，G2S组读取本地与远程数据至共享内存FIFO队列，S2G组将结果写回输出缓冲区。通过流水线并行处理，多个CUDA块可无同步地处理不同数据块，显著提升吞吐。 测试表明，在NVIDIA DGX Hopper平台（8×H100）上，Hybrid-EP仅用8个SM即可填满NVLink带宽；在4台DGX Hopper组成的32-GPU集群中，仅需约4个SM即可逼近ConnectX-7网卡的400 Gbps最大带宽。在Grace Blackwell平台的36-GPU NVLink网络中，仅需16个SM即可填满带宽。 Hybrid-EP已集成至Megatron Core的DeepEP/Hybrid-EP分支，支持PyTorch直接调用。其缓冲区管理采用“注册缓冲区”与“普通缓冲区”双机制，通过预分配最大缓冲区策略确保动态负载下的稳定性，同时控制全局显存使用。结合模型精度（如MXFP8、BF16）与调度器（A2A），实测显示在DeepSeek-V3等模型上，Hybrid-EP相比传统DeepEP方案提升1.14倍吞吐，速度提升显著。 该技术已在真实场景中验证，为超大规模MoE模型训练提供了高效、可扩展的通信基础设施，助力实现10倍性能提升与1/10部署成本目标。