一句话总结

针对LLM强化学习中的训练-推理不匹配问题，天津大学和阿里巴巴的研究人员提出了单调推理策略更新（MIPU）框架，这是一个两步框架，通过构建基于采样器的候选更新并使用推理侧差距代理有选择地接受同步候选，实现了单调推理策略改进（MIPI）目标，从而提升了推理性能和训练稳定性。

核心贡献

• 本文识别了目标不一致问题，即更新训练策略并不能保证部署时使用的推理策略得到提升，并提出了单调推理策略改进（MIPI）作为一个新的优化目标来解决这一问题。
• 本文引入了单调推理策略更新（MIPU），这是一个两步框架，通过构建基于采样器的候选更新，并使用推理侧差距代理有选择地接受同步候选。
• 在两种模型规模的高不匹配设置（FP8量化rollout）下的实验表明，MIPU提升了平均推理性能和训练稳定性，进一步分析证实了候选接受步骤的合理性。

引言

强化学习（RL）已成为大语言模型后训练的关键范式，尤其是在推理任务中。现代的LLM RL流水线将推理引擎上的rollout生成与训练引擎上的梯度计算解耦，这导致了训练-推理不匹配：即使参数同步，由于精度、解码和服务后端的差异，训练策略和推理策略可能对相同的轨迹分配不同的概率。现有方法通过稳定训练侧的优化来解决这种不匹配，但它们不能保证提升训练策略的更新也会产生更好的推理策略，即实际部署时使用的策略。作者从目标层面重新定义了该问题，提出了单调推理策略改进（MIPI）原则，该原则要求策略针对推理引擎的性能进行优化。然后，他们引入了单调推理策略更新（MIPU）这一两步框架，将策略改进分解为基于采样器的更新和推理差距感知的接受步骤，从而确保推理策略的单调提升。在FP8量化rollout的高不匹配设置实验中，MIPU比现有方法实现了更强的平均性能和更稳定的训练。

数据集

作者依赖一个留出的验证集 D_val 来决定接受还是回滚候选训练策略。数据集描述在提供的文本中较为简略，但以下要点总结了其构造和使用的陈述与隐含信息。

• 组成与来源

  • 数据集由从验证划分中抽取的提示词 x 组成。摘录中未包含原始来源（例如开源语料库、特定任务集合）的细节。
  • D_val 的主要作用是从当前推理策略 μ_{k+1} 生成采样补全 y_i，从而在线估计更新后的推理差距。

• 关键细节

  • 仅提及了一个子集 D_val。其总大小、每个评估步骤的提示词数量以及过滤规则（若有）未指定。
  • 对于每个提示词，推理引擎会生成多个补全；批大小和采样温度此处未详述。
  • 补全用于在 μ_{k+1} 下计算组相对优势。

• 数据使用方式

  • 验证集用于第2步：推理差距感知更新接受中的接受测试。
  • 对于每个提示词，来自 μ_{k+1} 的补全产生组相对优势 Â_i^{μ_{k+1}}。这些优势乘以重要性权重 ρ_i（方程9）以近似反向形式的性能差异（方程8）。
  • 在 D_val 上的期望产生代理 \widehat{T}_{post}。如果负值超过容忍度 -c，则表明训练侧改进在推理策略下可能不成立，从而触发训练器和推理引擎的回滚。
  • 数据不用于训练，而是专门作为每次候选更新同步到推理引擎后的在线验证信号。

• 处理细节

  • 未描述裁剪或去重。唯一的自定义处理是计算长度归一化的重要性权重 ρ_i，通过避免全序列重要性采样带来的高方差来稳定反向形式期望。
  • 优势计算遵循与训练期间相同的组相对方案（GRPO风格），但应用于验证侧的补全。
  • 该过程假设 D_val 是一个能可靠测量推理差距的提示词代表性样本；然而，除原始提示词外，未提及任何特定的模式或元数据。

方法

作者针对现代大语言模型强化学习流水线中固有的训练-推理不匹配问题。由于训练引擎和推理引擎之间在精度、解码或服务后端的实现差异，训练策略 $\pi$π 和推理策略 $\mu$μ 通常对相同的轨迹分配不同的概率。因此，优化训练侧目标并不能保证部署推理策略的改进。

为了解决这一目标不一致，作者提出了单调推理策略改进（MIPI）原则，重新定义优化目标以直接与推理策略转移对齐。他们将推理策略的改进正式分解为三个不同组成部分：更新后推理差距、训练侧更新和更新前的推理差距。该分解表示为：

$J(\mu_{k+1}) - J(\mu_k) = \underbrace{J(\mu_{k+1}) - J(\pi_{k+1})}_{\text{post-update inference gap}} + \underbrace{J(\pi_{k+1}) - J(\pi_k)}_{\text{training-side update}} + \underbrace{J(\pi_k) - J(\mu_k)}_{\text{pre-update inference gap}}$J(μk+1​)−J(μk​)=post-update inference gapJ(μk+1​)−J(πk+1​)​​+training-side updateJ(πk+1​)−J(πk​)​​+pre-update inference gapJ(πk​)−J(μk​)​​

作者通过一种名为单调推理策略更新（MIPU）的两步机制实现了MIPI原则，将候选构建与同步后验证分离。

第一步，作者执行基于采样器的策略更新，以优化训练侧更新和更新前推理差距项。标准的GRPO算法会根据旧的训练策略对概率比进行裁剪，但这与生成rollouts的采样器不一致。为纠正此问题，作者将完整的训练器-采样器比率分解为更新前不匹配权重和当前更新比率。为防止由较大的更新前差异引起的高方差，他们对不匹配校正项施加截断重要性权重，而仅对当前更新比率施加PPO风格的裁剪。这产生了一个与推理采样器更对齐的候选训练策略。

第二步，作者实现推理差距感知的更新接受，以验证更新后的推理差距。在将候选训练策略同步到推理引擎后，他们评估推理引擎是否成功实现了预期的收益。由于候选策略下的准确优势不可得，作者利用逆恒等式和长度归一化的重要性权重推导出一个稳定的基于验证的代理。该代理作为风险信号。若估计的差距低于定义的容忍度阈值，表明推理策略表现不如其训练侧对应物，则拒绝该更新，系统回滚到之前的检查点。若代理通过接受标准，则候选被接受为新策略。

实验

MIPU在FP8量化rollout的高训练-推理不匹配设置下，基于数学推理基准在两个规模的Qwen3模型上进行了评估。它既取得了更好的最终性能，又保持了持续的训练稳定性，而基线方法在早期峰值后退化。消融研究表明，第1步改善了候选更新方向，第2步基于更新后推理差距信号对同步进行条件化，解决了互补的失败模式；随机回滚无法防止崩溃，表明信号驱动的接受而非简单的拒绝更新是关键。

在FP8量化rollout下，MIPU在Qwen3-4B（66.71%）和Qwen3-1.7B（53.97%）上均取得了最高的平均准确率，在五个数学基准上优于基线方法。它是唯一在持续训练中保持稳定的方法，而其他方法在达到有竞争力的中间分数后会出现崩溃或急剧退化。AMC23和Minerva在4B模型上的增益尤为明显，MATH-500和OlympiadBench在1.7B模型上的增益亦很突出。MIPU是在扩展的FP8量化rollout下唯一避免训练崩溃的方法，而所有基线方法（Baseline、MIS、LR-decay）最终均退化。MIPU在两个模型规模上均设定了最佳平均准确率，其中Qwen3-4B在AMC23和Minerva，Qwen3-1.7B在MATH-500和OlympiadBench上有显著提升。

在FP8量化rollout下，将基于采样器的候选构建（第1步）与推理差距感知接受（第2步）结合，在大多数基准上获得了最高的平均准确率和最高分。仅使用第1步可以改善某些任务，但仍然接受所有同步的候选；而仅使用第2步可以防止崩溃，但无法提升候选质量，甚至可能降低性能。完整方法表明，校正后的候选更新和选择性接受是互补的。仅添加第1步会提高比基线更高的平均准确率，但不及完整方法，因为每个同步的候选都被无过滤接受。仅使用第2步会使平均准确率低于基线，并显著降低AMC23，表明没有更好的候选构建的差距感知拒绝会损害性能。完整方法在MATH 500、AIME 24、Minerva和AMC23上获得了最高的平均分和最佳分数，仅在Olympiad上比仅第1步有微小下降。结合两个步骤相对于任一单步变体都提升了AIME 24和Minerva的表现，表明校正后的候选更新和推理差距过滤提供了互补益处。

评估在FP8量化rollout下的数学推理任务上验证了MIPU，表明其在多个基准和模型规模上持续达到最高准确率，同时在扩展训练中保持稳定，而其他方法则崩溃。消融研究证实，基于采样器的候选构建和推理差距感知接受是互补的：单独使用任一步骤都无法匹配完整方法，仅构建缺乏质量过滤，仅接受则降低性能。总体而言，MIPU的双重策略产生了稳健的改进，没有基线方法中观察到的退化。