百度发布ERNIE 5.5 Flash Base稀疏MoE基础模型

近日，百度ERNIE团队发布ERNIE-5.5-Flash-Base基础模型。该模型采用稀疏混合专家架构，总参数280B，每词元激活14B，使用33.5万亿词元从头预训练，训练上下文扩展至128K，支持100万词元上下文微调与推理。官方称，此次发布的是预训练结束、尚未进行后续训练的权重，可为领域适配、指令微调和强化学习研究提供通用起点，并降低开发者承担大规模预训练的成本。 模型围绕效率与能力平衡设计，采用潜变量门控稀疏注意力、低秩门控注意力、虚拟头注意力和多路由潜在混合专家等机制，缓解长上下文计算与键值缓存压力；同时引入流形约束超连接、MultiMax输出头、ECHO多词元预测方式以及约20万词表分词器，以提升训练稳定性、生成质量和数值处理能力。配套系统包括分布式Muon优化器、FP8混合精度和FlashMask-4注意力内核，以支撑千卡规模训练。 评测显示，该模型在考试、推理、代码和长上下文基准中表现突出，优于DeepSeek-V4-Flash-Base、Hy3-preview-Base和MiMo-V2.5-Base等同规模基础模型。模型已上线Hugging Face，提供FP8和BF16版本，可经SGLang、vLLM部署，后续将推出后训练版本。