一句话总结

Nemotron-Labs-3-Puzzle-75B-A9B 是一个压缩的混合专家（MoE）大型语言模型，在单个 8×B200 节点上实现了高达 $2\times$2× 的服务器吞吐量提升，并在单张 H100 GPU 上实现了 8 个 $1\text{M}$1M token 的并发请求，通过多阶段压缩流水线实现，该流水线集成了 Iterative Puzzle、知识蒸馏、强化学习、量化和 Multi-Token Prediction，联合优化了 MoE 剪枝、激活参数预算和 Mamba 剪枝，以实现高效的交互式部署。

核心贡献

• Nemotron-Labs-3-Puzzle-75B-A9B 是 Nemotron-3-Super 的压缩变体，通过多阶段流水线构建，该流水线将 Iterative Puzzle 框架与知识蒸馏、强化学习、量化和 Multi-Token Prediction 头结合，联合优化异构 MoE 剪枝、激活参数预算和 Mamba 剪枝，在保持质量的同时提升推理效率。
• 在交互式服务中，在匹配用户吞吐量约束的条件下，压缩模型在单个 8×B200 节点上实现了比父模型高约 2 倍的服务器吞吐量，并且将单张 H100 GPU 上可持续的 1M token 并发请求数从 1 个提升至 8 个，适用于超长上下文部署。
• 在推理、编程、多语言、长上下文和 agentic 基准上的评测表明，Puzzle-75B-A9B 相对于父模型保持了较强的下游准确率，证明大型混合 MoE 模型可以在大幅优化部署效率的同时保持强大的能力。

引言

作者针对部署大型语言模型时的推理效率瓶颈，聚焦于混合专家（MoE）架构，如 Nemotron-3-Super。生产环境对吞吐量、延迟和设备内存有严格限制，然而现有的训练后压缩方法（剪枝、量化、蒸馏）往往在效率与能力保持之间强制进行刚性权衡，尤其在优化多个相互依赖的维度（如激活参数、KV 缓存大小和 Mamba 状态）时。作者引入了 Iterative Puzzle，这是一个顺序压缩框架，将硬件感知的结构化剪枝与短时知识蒸馏恢复阶段交错进行，从而在网络深度、可路由专家、激活专家和 SSM 状态大小上实现非均匀的容量分配。最终得到的模型 Nemotron-Labs-3-Puzzle-75B-A9B 将父模型的总参数/激活参数从 120.7B/12.8B 压缩到 75.3B/9.3B，在交互式工作负载下提供约 2 倍的服务器吞吐量，并支持单 GPU 上 8 个并发的 1M token 请求，而父模型仅能支持 1 个。

方法

作者提出一个两阶段流水线，用于模型压缩和性能恢复，将原始 Nemotron-3-Super 模型转换为更小、部署效率更高的架构。第一阶段采用 Puzzle 框架的迭代变体进行结构化压缩，第二阶段通过知识蒸馏和强化学习处理性能退化。

在结构化压缩阶段，作者利用 Puzzle 框架，这是一种分解式神经架构搜索方法。搜索空间主要针对专家混合（MoE）剪枝策略和 Mamba 状态空间模型（SSM）剪枝。对于 MoE 层，作者应用中间通道剪枝和 top-k 缩减，使框架能够构建异构架构，根据每层对准确率的影响分配不同的容量。Mamba SSM 状态大小也被剪枝以加速解码阶段。为了克服单次架构搜索无法建模块替换之间高阶交互的局限性，作者引入了 Iterative Puzzle。这一顺序过程交替进行适度的结构化压缩和短时知识蒸馏恢复阶段。令 $M_0$M0​ 表示原始预训练模型，$T$T 为教师模型。Iterative Puzzle 构建一个模型序列 $M_0 \rightarrow M_1 \rightarrow \dots \rightarrow M_R$M0​→M1​→⋯→MR​。在每次迭代 $r$r 中，围绕 $M_{r-1}$Mr−1​ 构建 Puzzle 搜索空间，并在递增的剪枝预算下生成压缩中间模型 $\breve{M}_r$M˘r​，然后通过来自 $T$T 的知识蒸馏对其进行修复：

$M_r = \mathrm{Heal}(\breve{M}_r, T)$Mr​=Heal(M˘r​,T)

这种迭代方法允许在当前的压缩模型上下文中重新计算替换分数，使搜索能够适应不断变化的内部表示。

压缩之后，作者应用全面的恢复阶段。知识蒸馏使用预训练和微调数据的混合数据集进行。在迭代压缩阶段，蒸馏在 32K 序列长度下匹配原始模型的 logits。在最终恢复阶段，上下文长度扩展到 128K，随后到 512K token，以恢复长上下文能力。随后，应用强化学习恢复对压缩敏感的能力，特别是针对软件工程任务。强化学习流水线包括单步工具使用对比和完整的端到端沙盒环境。为确保训练稳定性和高模型质量，作者采用跨多个不同学习率运行的检查点平均策略。

具体实现涉及三个压缩与恢复阶段。第一阶段将 MoE 权重和 Mamba SSM 状态大小缩减至教师容量的 75%。第二阶段进一步将 MoE 权重缩减至 60%。最后阶段将激活的可路由专家预算限制在教师的 50%，允许各层进行异构分配。最终架构保留了父模型的混合块布局，共 88 个块。

如下图所示，Puzzle 框架在模型深度上选择了高度非均匀的激活可路由 MoE 容量分配。

最终架构并非均匀缩小教师模型，而是对许多层进行激进剪枝，同时在选定的中间层和深层保留显著更多的可路由容量，表明激活的 MoE 容量是根据各层敏感度来分配的。

为了进一步提升推理速度，作者应用训练后量化，分别生成面向 Hopper 级和 Blackwell 级 GPU 的 FP8 和 NVFP4 检查点。校准在微调数据的子集上进行，并对不同算子做出特定的精度选择，以平衡内存开销和准确率。

最后，作者利用原生 Multi-Token Prediction 能力进行投机解码。该模型使用共享的 MTP 头公式，参数在多个 MTP 步骤间共享，使得单个预测头可在推理时递归应用。为解决教师强制 MTP 训练与自回归投机解码之间的不匹配，作者继续训练迁移后的 MTP 头。该训练方案提升了内部 drafter 在自回归使用下的稳定性，尤其是在分布不匹配最明显的深层草稿位置，从而显著提升接受长度，而无需引入额外的运行时机制。

实验

评测将 Nemotron-3-Puzzle-75B-A9B 与其父模型进行对比，结果表明迭代压缩、知识蒸馏和恢复训练保持了多数推理、编程、长上下文和多语言能力，即使进行激进量化也仅有适度退化。消融实验证实，迭代压缩优于单次方法，且短上下文 KD、长上下文 KD 和少量 RL 步骤各自有助于恢复准确率并降低冗余度。在 8×B200 节点上的性能分析表明，在交互式用户吞吐量约束下，压缩模型提供了 1.6 倍到 2.14 倍的总吞吐量提升，并且通过预填充解耦和多 token 预测可进一步获得增益，从而为生产部署提供了良好的准确率—效率权衡。

Puzzle-75B-A9B 压缩模型保留了父模型总参数的 62% 和激活参数的 73%，通过将 Mamba SSM 状态大小剪枝至 75% 并应用异构 MoE 路由，使每个 token 的平均激活专家数减半，激活可路由专家容量降至 31%。在 8×B200 节点上，这种架构压缩在交互式服务约束下提供了 1.6 倍到 2.14 倍的总吞吐量提升，而仅在预填充阶段使用压缩模型、解码阶段使用完整模型则可以避免质量损失。压缩保留了混合块布局，但将 Mamba 状态大小缩减至 75%，并在各层之间变化 MoE 维度，使激活参数降至父模型的 73%。每个 token 的平均激活可路由专家数降至 50%，每层激活专家容量范围为父模型的 8.7% 到 62.3%。在用户吞吐量阈值为 100、125 和 150 tokens/s 时，单个 8×B200 节点的吞吐量提升 1.6 倍至 2.14 倍。在预填充阶段使用压缩模型、解码阶段使用完整模型可以保持基准分数，证实这些增益源于对计算密集型预填充阶段的针对性压缩。

FP8 检查点将计算量最大的算子——MoE 和 Mamba GEMM 以及 KV 缓存——量化为 FP8，而注意力投影、嵌入和路由器保持更高精度。NVFP4 检查点进一步将 MoE GEMM 降至 4 比特精度，使其更加激进，但仍能匹配准确率，并与采用随机舍入的 FP16 Mamba 状态配合使用。FP8 检查点仅对稀疏和共享 MoE GEMM、Mamba 线性层以及 KV 缓存应用 FP8，其余所有组件保持 BF16 或 FP32。NVFP4 检查点将 MoE GEMM 推进至 NVFP4，同时将 Mamba GEMM 保留在 FP8，由此产生的量化比 AutoQuantize 基线略为激进，但达到了相似的准确率。

Puzzle-75B-A9B 模型在通用知识和推理基准上保留了父模型 Super 的绝大部分准确率，仅有轻微下降。在 NVFP4 量化下，Puzzle-75B-A9B 与其 BF16 分数相比退化可忽略不计，在某些情况下甚至与量化后的 Super 模型完全匹配，显示出对激进精度降低的鲁棒性。Puzzle-75B-A9B 在 BF16 下的 MMLU-Pro 得分为 82.4，仅比 Super 的 83.8 低 1.4 分，而 NVFP4 的 82.2 几乎相同。在 AIME25 上，NVFP4 的 Puzzle-75B-A9B 与 Super 的 NVFP4 分数 89.9 完全匹配，而其 BF16 分数 89.7 比 Super 的 92.2 低 2.5 分。在报告的所有五个基准中，Puzzle-75B-A9B 的 NVFP4 变体从未比 BF16 变体低超过 1.3 分，且差距通常为 0.2 分或更小。在 HMMT 和 GPQA 等推理基准上，Puzzle-75B-A9B 在 BF16 下仅落后 Super 0.8–1.6 分，NVFP4 的差距同样微小。

压缩后的 Puzzle-75B-A9B 模型在准确率上接近原始 Nemotron-3-Super（70.74% 对比 71.93%），同时在单步模式下提供了 2.03 倍的服务器吞吐量。借助 Multi-Token Prediction，吞吐量提升至 Super 的 4.63 倍，调整生成冗余度后，每分钟完成的用户请求数达到 Super 的 4.91 倍。较小的 Nano 模型实现了更高的原始吞吐量，但准确率显著降低且输出更冗长，导致有效请求完成率较低。在用户感知的吞吐量为 100 tokens/s 的条件下，Puzzle-75B-A9B 配合 Multi-Token Prediction 实现了 Super 模型总吞吐量的 4.63 倍。在单步推理中，Puzzle-75B-A9B 的吞吐量是 Super 的 2.03 倍，而准确率仅下降 1.19 个百分点。

Puzzle-75B-A9B 模型的 MTP 头在所有评估类别中均实现了比原始 Super MTP 更高的平均接受长度，在多语言和编程任务中尤为显著。量化至 NVFP4 对接受长度仅有边际影响，表明草稿质量的提升对压缩具有鲁棒性。Puzzle-75B-A9B 的 MTP 接受长度在每个类别中都超过 Super MTP，平均增益超过 0.8 个 token。NVFP4 量化最多使接受长度减少 0.08 个 token，因此草稿质量几乎保持不变。

评测检查了一个压缩的 Mamba-MoE 混合模型，该模型剪枝了 Mamba 状态大小并应用异构专家路由以减少激活参数和激活专家数量。在 8×B200 节点上的吞吐量测试表明，仅在预填充阶段使用该压缩模型、解码阶段保留完整模型，可在无任何质量损失的情况下将交互式服务吞吐量提升高达 2.14 倍。基准评估显示，压缩模型几乎匹配父模型的准确率，并能容忍 FP8 和 NVFP4 量化，退化可忽略不计，而其 Multi-Token Prediction 头则实现了持续更高的接受长度，进一步放大了有效吞吐量。