HyperAIHyperAI

Command Palette

Search for a command to run...

NVIDIA 推出 Nemotron 3 Super 开源混合 MoE 架构

英伟达正式发布 Nemotron 3 Super,这是一款专为解决多智能体系统复杂挑战而设计的开源混合架构模型。该模型总参数达 1200 亿,激活参数为 120 亿,旨在平衡推理深度与计算效率,解决智能体在长期任务中面临的“上下文爆炸”和“思维税”问题。 Nemotron 3 Super 采用创新的混合 Mamba-Transformer 混合专家(MoE)架构。其中,Mamba 层提供线性时间复杂度的序列处理能力,配合原生的百万级令牌上下文窗口,确保智能体能长期记忆并保持目标一致性。Transformer 注意力层则穿插其中,保证在海量信息中精准检索关键事实。此外,模型引入“潜在 MoE"技术,通过压缩嵌入空间在同等成本下启用四倍专家数量,实现更细粒度的任务分工。配合多令牌预测(MTP)技术,模型在训练和推理阶段均能显著提升逻辑推理能力与生成速度,结构化工具调用任务速度提升可达 3 倍。 在训练方面,模型原生采用英伟达 4 位浮点(NVFP4)格式进行预训练,在降低显存占用的同时保持了高精度。训练流程涵盖预训练、监督微调及多环境强化学习三个阶段,使其在复杂工作流中表现稳健。测试显示,在 PinchBench 基准测试中,Nemotron 3 Super 获得 85.6% 的分数,成为同类开源模型中的佼佼者。 该模型完全开源,包括模型权重、数据集及训练食谱,开发者可在本地或云端自由部署。英伟达提供了完整的微调指南和部署工具包,并可用于 OpenClaw 等智能体框架的实验与评测。Nemotron 3 Super 的发布标志着开源多智能体 AI 进入新阶段,为软件工程、网络安全等高价值应用场景提供了高效可靠的推理大脑。

相关链接