一句话总结

中国人民大学、蚂蚁集团等机构的研究人员推出了 Ring-2.5-1T-Zero，这是一个 1 万亿参数模型，采用零强化学习训练，并配备包含裁剪重要性采样、训练-推理比率校正和混合精度控制的稳定流水线，展现出自我验证和并行推理等涌现推理行为，在数学基准测试中取得了具有竞争力的表现，并生成结构化、简洁的思维链。

核心贡献

• 构建了一个面向万亿参数规模的零强化学习稳定训练流水线，结合裁剪重要性采样、训练-推理比率校正和混合精度控制，解决了数值和结构瓶颈。
• 扩展到 1T 参数显著提升了样本效率和性能，揭示了一个两阶段学习过程（发现阶段后是锐化阶段），并自发涌现出自我验证和结构化格式等高级推理行为，使得手工设计的启发式方法不再必要。
• 提出了一个结构化评估框架，从可理解性、可复现性和效率三个维度评估思维链质量，最终模型 Ring-2.5-1T-Zero 生成清晰、简洁的推理轨迹，同时在七个数学基准测试上取得有竞争力的结果。

引言

作者们应对的是将用于思维链推理的“零强化学习”扩展到万亿参数模型的挑战。先前的工作表明，将可验证奖励的强化学习直接应用于基座模型可以在没有监督微调的情况下引发出涌现推理，但这些研究由于计算限制仅限于较小规模。在大规模上直接应用引入了关键问题：推理轨迹变得不可读且无结构，像 GRPO 这样的标准算法引入了长度偏差，导致输出冗长失控，并且模型被锁定在单一推理深度，无论问题复杂度如何。作者的主要贡献是一个极简但稳定的自迭代训练流水线，适用于 1 万亿参数模型，该流水线依赖于裁剪重要性比率策略优化、训练-推理比率校正、样本级损失归一化和分层自适应训练。该流水线避免了大量手工设计的启发式方法，而是纯粹通过规模解锁结构化格式、自我验证、并行推理和其他高级认知策略的自发涌现，验证了“苦涩的教训”：算力超越了人工工程设计。

方法

作者采用了一个极简的训练框架，旨在从预训练的基座模型引发出推理能力并将其规模化，而无需任何人工标注数据。核心理念是仅在绝对必要时引入算法修改，以稳定迭代学习过程。整个训练流水线包含四个不同的阶段：初始强化学习阶段，引导出思维链推理；自蒸馏阶段，压缩并稳定模型；第二个 RL 阶段，在无长度失控增长的情况下持续优化；以及最后的 RL 阶段，使模型具备针对不同难度级别的自适应推理深度。混合精度和上下文并行性的基础设施优化确保了长上下文 RL 训练在数值上稳定且计算高效。

在第一个 RL 阶段，即推理引导阶段，模型很少生成逐步推导，因为在基座策略下推理 token 的概率非常低。为了积极放大这些 token，作者使用了裁剪重要性采样策略梯度。与标准的 PPO-clip 不同，后者将裁剪范围外的梯度置零，此变体对裁剪比率应用停止梯度，同时允许所有 token 的梯度流动，确保每个 token 都为构建推理能力做出贡献。目标函数为：

$$\mathcal{J}(\theta) = \mathbb{E}_{\substack{q \sim \mathcal{D} \\ \{o_i\}_{i=1}^G \sim \pi_{\mathrm{S}}}} \left[ \sum_{i=1}^G \sum_{t=1}^{|o_i|} \operatorname{sg}(\hat{\rho}_{i,t}) \cdot \hat{A}_{i,t} \cdot \log \pi_{\mathrm{M}}^{\theta}(o_{i,t} \mid q, o_{i,<t}) \right],$$J(θ)=Eq∼D{oi​}i=1G​∼πS​​​​i=1∑G​t=1∑∣oi​∣​sg(ρ^​i,t​)⋅A^i,t​⋅logπMθ​(oi,t​∣q,oi,<t​)​,

其中 $q$q 是来自数据集 $\mathcal{D}$D 的问题，$\{o_i\}${oi​} 是来自推理引擎 $\pi_{\mathrm{S}}$πS​ 的组 rollout 响应，$\hat{A}_{i,t}$A^i,t​ 是通过组归一化奖励计算的优势估计，$\operatorname{sg}(\cdot)$sg(⋅) 是停止梯度算子，$\hat{\rho}_{i,t}$ρ^​i,t​ 是裁剪的重要性比率。

一个关键的稳定性挑战源于训练引擎（Megatron）与推理引擎（SGLang）之间的数值差异，这是由于浮点精度和内核实现的不同。为了防止这些微小差异累积成宏观崩溃，重要性采样比率的分子被替换为实际的训练引擎 logits：

$$\rho_{i,t} = \frac{\pi_{\mathrm{M}}^{\theta}(o_{i,t} \mid q, o_{i,<t})}{\pi_{\mathrm{S}}^{\theta_{\mathrm{old}}}(o_{i,t} \mid q, o_{i,<t})}, \quad \hat{\rho}_{i,t} = \operatorname{clip}(\rho_{i,t}, \epsilon_{\mathrm{low}}, \epsilon_{\mathrm{high}}),$$ρi,t​=πSθold​​(oi,t​∣q,oi,<t​)πMθ​(oi,t​∣q,oi,<t​)​,ρ^​i,t​=clip(ρi,t​,ϵlow​,ϵhigh​),

其中仅应用上界 $\epsilon_{\mathrm{high}}$ϵhigh​ 以防止过大的更新，而不强制下界。这种校正准确地反映了引擎之间的真实偏差。此外，针对冻结参考模型的 KL 散度惩罚约束了策略漂移，并使用 token 级损失，对所有 token 求和而不按响应长度归一化，这明确鼓励更长的生成。响应窗口长度以课程方式逐渐扩展。组合的第一阶段损失为：

$$\mathcal{L}_{\mathrm{Ring\text{-}2.5\text{-}1T\text{-}Zero\text{-}I}}(\theta) = -\mathcal{J}(\theta) + \beta \cdot \mathcal{L}_{\mathrm{KL}}(\theta),$$LRing-2.5-1T-Zero-I​(θ)=−J(θ)+β⋅LKL​(θ),

其中 $\beta$β 平衡探索与稳定性。

虽然第一阶段成功引出了推理，但无约束的 token 级损失导致思维链轨迹过长且冗余，并且引擎间累积的数值误差导致优化不稳定。为了解决这些问题，引入了自蒸馏阶段。第一阶段专家策略 $\pi_{\mathrm{expert}}$πexpert​ 对每个查询采样多个 rollout。一个两步长度精炼过程选择最短的正确推理轨迹，然后提示模型进行自我评估并删除任何剩余的冗余片段。精炼后的语料库用于通过标准监督学习微调原始基座模型：

$$\mathcal{L}_{\mathrm{self\text{-}distillation}}(\theta) = -\mathbb{E}_{q \sim \mathcal{D}, o \sim \pi_{\mathrm{expert}}} \left[ \sum_{t=1}^{|o|} \log \pi_{\theta}(o_t \mid q, o_{<t}) \right].$$Lself-distillation​(θ)=−Eq∼D,o∼πexpert​​​t=1∑∣o∣​logπθ​(ot​∣q,o<t​)​.

蒸馏后的模型保留了推理能力，同时产生简洁的轨迹，并有效地重置了累积的数值误差，为下一 RL 阶段提供了干净的起点。

在第二个 RL 阶段，即持续优化阶段，保留了相同的裁剪重要性采样策略梯度和比率校正，但损失策略改为样本级归一化。不再对未归一化的 token 损失求和，而是按响应长度归一化梯度：

$$\mathcal{L}_{\mathrm{Ring\text{-}2.5\text{-}1T\text{-}Zero\text{-}II}}(\theta) = -\mathbb{E}_{\substack{q \sim \mathcal{D} \\ \{o_i\}_{i=1}^G \sim \pi}} \left[ \sum_{i=1}^G \frac{1}{|o_i|} \sum_{t=1}^{|o_i|} \operatorname{sg}(\hat{\rho}_{i,t}) \cdot \hat{A}_{i,t} \cdot \log \pi_{\theta}(o_{i,t} \mid q, o_{i,<t}) \right].$$LRing-2.5-1T-Zero-II​(θ)=−Eq∼D{oi​}i=1G​∼π​​​i=1∑G​∣oi​∣1​t=1∑∣oi​∣​sg(ρ^​i,t​)⋅A^i,t​⋅logπθ​(oi,t​∣q,oi,<t​)​.

这消除了从 token 级损失继承的长度增长偏差，同时仍然允许模型优化准确性。KL 惩罚也被移除，因为蒸馏后的模型已经提供了强大的起点，进一步的 regularization 会限制探索。

第三个 RL 阶段通过分层训练策略引入自适应推理深度。问题被划分为三个难度层级——低、中、高——每个层级关联一个最大 token 长度和一个特定的系统提示 $p_k$pk​。目标函数纳入这些提示：

$$\mathcal{L}_{\mathrm{Ring\text{-}2.5\text{-}1T\text{-}Zero\text{-}III}}(\theta) = -\sum_{k \in \{\mathrm{l}, \mathrm{m}, \mathrm{h}\}} \mathbb{E}_{\substack{q \sim \mathcal{D}_k \\ \{o_i\}_{i=1}^G \sim \pi(\cdot | p_k, q)}} \left[ \sum_{i=1}^G \frac{1}{|o_i|} \sum_{t=1}^{|o_i|} \operatorname{sg}(\hat{\rho}_{i,t}) \cdot \hat{A}_{i,t} \cdot \log \pi_{\theta}(o_{i,t} \mid p_k, q, o_{i,<t}) \right].$$LRing-2.5-1T-Zero-III​(θ)=−k∈{l,m,h}∑​Eq∼Dk​{oi​}i=1G​∼π(⋅∣pk​,q)​​​i=1∑G​∣oi​∣1​t=1∑∣oi​∣​sg(ρ^​i,t​)⋅A^i,t​⋅logπθ​(oi,t​∣pk​,q,oi,<t​)​.

这种条件设置教会模型自适应分配计算：对简单查询给出简洁答案，对复杂问题进行详尽的思维链推理。在推理时，用户可以通过系统提示控制推理模式。

为了使长上下文 RL 在大规模上可行，作者实施了两项基础设施优化。首先，混合精度控制通过将主模型体保持在 BF16，但以 FP32 计算注意力 softmax 和 LM 头，从而稳定训练。这些组件涉及指数运算，自然会放大小数值误差；在这些地方使用高精度消除了突然的损失尖峰，并缩小了训练与推理引擎之间的数值差距。其次，定制的上下文并行策略打破了标准环形注意力的延迟瓶颈。对于 MLA 层，沿头维度的全对全操作允许每个设备为整个序列上的一个头子集计算完整注意力，由于压缩的键值潜在表示，通信量较低。对于 Lightning Attention 层，单个 AllGather 操作将局部状态矩阵同时广播到所有设备，从而实现即时计算。这两种优化在数学上等同于环形注意力，并产生相同的梯度。

实验

从预训练基座模型开始的多阶段零 RL 流水线在数学基准测试上进行了评估，结果表明仅靠强化学习就能在没有人类演示的情况下发展出有竞争力的推理能力。评估不仅限于准确性，还从三个维度衡量思维链质量：通过 LLM-as-judge 成对比较评估可理解性，通过蒸馏增益评估对较弱学生模型的可复现性，以及通过比较正确轨迹上的 token 数量评估效率，结果表明涌现的轨迹比强基线更具逻辑结构、更易迁移且更简洁。进一步分析揭示，仔细的稳定化措施（如 KL 惩罚和 logit 不匹配校正）、模型扩展和动态课程对稳定训练至关重要，而 RL 过程经历了从边界扩展到解锐化的明显转变，定性检查发现了自发的自我验证和并行推理行为。

前沿专有模型在最近的数学基准测试上取得了极高的 pass@1 准确率，多个模型在 AIME 2026 上超过 95%，最佳模型在 HMMT Feb. 2026 上达到 96.7%。Ring-2.5-1T-Zero 模型完全通过 RL 训练，无人类数据，在第一阶段训练后在 AIME 2026 上达到 84.2%，表明大型语言模型可以自我发现复杂推理。多阶段精炼和自适应推理模式进一步提升了性能，同时允许灵活的计算权衡。Claude Opus 4.8 在 HMMT Feb. 2026 上以 96.7% 领先，Qwen3.7-Plus 在 AIME 2026 上得分为 97.0%，在比较的专有模型中名列前茅。从一个没有人类标注推理轨迹的预训练基座模型开始，Ring-2.5-1T-Zero 的第一个 RL 阶段在 AIME 2026 上达到 84.2%，证实了通过适当正则化的探索涌现出思维链。自蒸馏后接样本级和分层 RL 带来了持续增益，而自适应推理（低、中、高）让用户在推理深度和计算成本之间进行权衡，尽管跨长度的联合训练在最深层模式上引入了轻微的负迁移。

前沿专有模型现在在高级数学基准测试上达到了近乎完美的准确率，在 AIME 2026 和 HMMT Feb. 2026 上最高分均超过 96%。完全通过强化学习从一个没有人类推理轨迹的基座模型训练 Ring-2.5-1T-Zero，在一个阶段后在 AIME 2026 上达到 84.2%，证实了大型语言模型可以通过适当正则化的探索自发地发展出复杂的思维链推理。随后的自蒸馏和多阶段精炼带来了持续增益，而自适应推理模式让用户用推理深度换取计算节省，尽管跨深度的联合训练在最深层设置上引入了轻微的负迁移。