一句话总结

来自清华大学 LeapLab 和上海交通大学的研究人员使用大 k 下的 $\text{pass}@k$pass@k 系统性探测经 RLVR 训练的大语言模型，发现 RLVR 会收窄而非扩展推理能力边界，因为所有被测试的推理路径都来自基础模型的采样分布，而蒸馏则真正引入了新的推理模式。

核心贡献

• 本文提供了一个系统性框架，用于在大 k 值的 pass@k 下评估 RLVR 训练大语言模型的推理能力边界，覆盖不同模型家族、强化学习算法以及数学、编码和视觉推理基准。

• 实证结果表明，当前 RLVR 训练提高了朝向基础模型中已存在正确路径的采样效率，而基础模型在大 k 下可达到更高的 pass@k 分数，且经 RLVR 训练的模型通常表现出更窄的推理边界。

• 将六种流行的 RLVR 算法与蒸馏进行比较后发现，这些 RLVR 算法表现相似，且仍远未充分利用基础模型，而蒸馏会引入新的推理模式并扩展推理能力。

引言

作者研究的是可验证奖励强化学习，即 RLVR。RLVR 已成为提升大语言模型在数学和编码等重推理任务上表现的重要方法。在这一设定下，模型使用可自动验证的反馈进行优化，例如最终答案正确性或通过单元测试，而不依赖昂贵的人工标注。以往工作展示了很强的经验性收益，但尚不清楚 RLVR 是真正教会模型新的推理策略，还是只是更好地利用基础模型已有能力。以往的评估通常范围有限，并且通常评估平均情况性能，这可能掩盖模型的真实推理潜力。作者贡献了一种严格的边界评估，使用 pass@k 跨多个模型家族、规模、任务和 RLVR 算法。结果显示，当前 RLVR 提高了采样效率，但没有根本扩展推理容量，而且 RLVR 模型找到的成功推理路径大多已经存在于基础模型中。

数据集

• 数据集是 Omni-MATH-Rule，它是从 Omni-MATH 中选出的一部分，用于包含具有可验证答案的数学问题。
• 作者将 Omni-MATH-Rule 划分为 2,000 个样本的训练集和 821 个样本的域内测试集。
• 他们使用 MATH500 作为单独的域外基准，用于评估泛化能力。
• 该数据用于研究不同 RL 算法如何影响采样效率，尤其通过比较 pass@1 与基础模型的 pass@256。
• 在评估期间，提示以 256 个为一组处理，每个提示生成 8 个候选回复，最大生成长度为 8,192 tokens。

方法

作者将带可验证奖励的强化学习表述为在 LLM 策略上的优化问题。令 $\pi_{\theta}$πθ​ 表示参数为 $\theta$θ 的语言模型，该模型在提示 $x$x 条件下生成一个 token 序列 $\mathbf{y}=(y_1,\ldots,y_T)$y=(y1​,…,yT​)。一个确定性验证器 $\mathcal{V}$V 评估生成的输出，并返回二元奖励

$$r=\mathcal{V}(x,\mathbf{y})\in\{0,1\},$$r=V(x,y)∈{0,1},

当且仅当模型最终答案完全正确时，$r=1$r=1。在某些设定中，还会使用额外的格式奖励，以鼓励模型将推理过程与最终答案分开。训练目标是在提示分布 $\mathcal{D}$D 上最大化期望奖励：

$$J(\theta)=\mathbb{E}_{x\sim\mathcal{D}}\left[\mathbb{E}_{\mathbf{y}\sim\pi_{\theta}(\cdot|x)}[r]\right].$$J(θ)=Ex∼D​[Ey∼πθ​(⋅∣x)​[r]].

整体 RLVR 工作流，包括提示采样、模型生成、验证器评分和策略优化，已在配图中总结。

在策略优化方面，论文采用近端策略优化及其变体。PPO 最大化一个带裁剪的代理目标：

$$\mathcal{L}_{\mathrm{CLIP}} = \mathbb{E}\left[ \min\left( r_t(\theta)A_t, \operatorname{clip}\left(r_t(\theta),1-\epsilon,1+\epsilon\right)A_t \right) \right],$$LCLIP​=E[min(rt​(θ)At​,clip(rt​(θ),1−ϵ,1+ϵ)At​)],

其中

$$r_t(\theta)= \frac{\pi_{\theta}(y_t|x,\mathbf{y}_{<t})} {\pi_{\theta_{\mathrm{old}}}(y_t|x,\mathbf{y}_{<t})},$$rt​(θ)=πθold​​(yt​∣x,y<t​)πθ​(yt​∣x,y<t​)​,

且 $A_t$At​ 是由价值网络 $V_{\phi}$Vϕ​ 估计的优势。概率比率 $r_t(\theta)$rt​(θ) 衡量更新后的策略与旧策略在每个 token 位置的偏离程度。裁剪操作限制了这种偏离的幅度，与无界策略更新相比，提高了训练稳定性。还可加入可选的 KL 散度项，以约束优化后的策略偏离初始模型太远。

PPO 属于更广的策略梯度类强化学习方法。这些算法从 on-policy 样本中学习，这意味着训练数据由当前策略或其较早版本生成。在可验证奖励设定下，训练信号尤其干净：最终答案正确的样本获得正反馈，而错误样本获得负反馈或零反馈。因此，策略梯度过程会增加成功续写的对数似然，并降低不成功续写的似然。

训练协议区分数学任务与编码或视觉推理任务。对于数学，作者采用 zero RL 设定，其中 RL 直接应用于预训练的基础模型，之前没有监督微调。该设定有助于隔离 RLVR 本身的影响。对于编码和视觉推理，通常使用指令微调模型作为起点，因为从纯预训练模型直接进行 zero RL 可能更不稳定。在这些情况下，论文比较监督微调模型与其 RLVR 训练后的对应模型，以检验可验证奖励强化学习的增量影响。

实验

实验使用 pass@k 在大量采样和一致的 zero-shot 提示下评估数学、编码和视觉推理基准上的推理容量边界，比较基础模型、RLVR 训练模型和蒸馏模型。结果显示，RLVR 主要在小 k 下提高采样效率，而基础模型在更大的 k 下常常覆盖更多可解决问题，这表明 RL 训练后推理边界更窄。对覆盖率、困惑度、训练设定、熵、算法选择以及一个接近前沿模型的分析表明，当前 RLVR 会锐化基础模型已有的推理路径，而不是扩展它们，而蒸馏可以引入新的推理能力。

实验在数学、代码生成和视觉推理上比较基础模型和 RLVR 模型，使用匹配的 zero-shot 采样设定。RLVR 稳定提高低预算 pass 性能，但随着采样预算增加，其优势会缩小，并且更大的接近前沿模型也表现出类似的受边界限制模式。评估覆盖多个模型家族、RL 框架和任务领域，包括数学、编码和视觉推理。基础模型和 RLVR 模型使用相同的 zero-shot 提示风格，以避免 few-shot 示例带来的混淆。RLVR 在低 pass 预算下提供明显收益，而基础模型在较高 pass 预算下会追上或超过 RLVR。KL 正则化和熵匹配生成并不能消除 RLVR 推理边界明显收窄的现象。

基础模型和 RLVR 训练模型大多解决相同的问题，但基础模型仍解决了许多 RLVR 训练模型错过的问题。反向情况很少出现，尤其是在 AIME24 上，因此 RLVR 模型的收益主要反映在基础模型已能解决的问题上更可靠的采样。两个模型都在相当一部分 AIME24 问题上失败，而 MATH500 上的共同失败则少得多。RLVR 训练模型解决的大部分问题也可以由基础模型解决。基础模型覆盖的可解决问题集合比 RLVR 训练模型更广。RLVR 训练模型很少解决基础模型无法解决的问题。

实验在数学、编码和视觉推理上比较基础模型和 RLVR 训练模型，使用匹配的 zero-shot 采样设定，并覆盖多个模型家族和 RL 框架。结果显示，RLVR 主要提高基础模型已能解决问题的可靠性，在低采样预算下带来更大收益，随着预算增大这些收益会缩小。基础模型通常覆盖更广的可解决问题集合，而 RLVR 模型很少解决基础模型能力范围之外的任务，这表明存在推理边界限制，而不是能力扩展。