一句话总结

微软研究院和阿姆斯特丹大学的研究人员提出重放前缀在线策略蒸馏（ReOPD），这是一种离线环境方法，它重用教师轨迹作为重放前缀，并采用步长衰减采样调度来缓解多轮agentic任务中的前缀陷阱，从而在保持或提升准确率的同时消除工具调用，并且每步训练速度至少比标准在线策略蒸馏快4倍。

核心贡献

• 该论文提出重放前缀在线策略蒸馏（ReOPD），这是一种离线环境蒸馏方法，它重用预收集的教师轨迹作为重放前缀，使学生能在选定步骤采取行动，而教师无需实时环境交互即可提供稠密的逐步监督。
• 该论文识别并形式化了多轮在线策略蒸馏中的前缀陷阱，这是一种双向分布偏移：使历史记录更偏向学生在线策略可能导致教师查询在不可靠历史记录上，并将问题框架化为可靠性感知的前缀分布设计，并给出了一个界，将差距分解为学生占用不匹配和教师可靠性项。
• 该论文提出一种步长衰减采样调度来实现可靠性感知的前缀分布，并证明ReOPD在Python数学推理和搜索环境中保持或提升了OPD级别的准确率，在学生训练期间使用零工具调用，且每步训练速度至少比OPD快4倍。

引言

基于可验证奖励的强化学习（RL）驱动了大型语言模型的强大推理能力，但它的稀疏标量信号样本效率低，尤其对于较小的模型。知识蒸馏通过模仿教师提供稠密监督，但标准的离线策略蒸馏在教师前缀上训练，当学生犯错时会导致漂移和复合错误。在线策略蒸馏（OPD）从学生采样，同时仍使用教师的逐token分布，但将OPD扩展到多轮agentic任务成本高昂，因为它需要实时环境交互，并且每一步都需要新的教师查询。重放预收集的教师轨迹作为前缀可以避免这些成本，但引入了前缀陷阱：一种双向分布偏移，其中与学生相关的前缀可能落在教师指导不可靠的区域，因此完全学生在线策略的回滚并不总是最优的。作者们将多轮OPD形式化为可靠性感知的前缀分布设计，推导出一个界，将差距分解为学生占用不匹配和教师可靠性，并提出了ReOPD，一种实用方法，它使用步长衰减调度从离线教师池中采样前缀。ReOPD在教师对学生历史记录可靠时匹配在线策略OPD，当教师-学生差距较大时则优于OPD，同时消除了蒸馏期间的环境交互。

方法

作者们将多轮在线策略蒸馏形式化为一个交互过程，目标是在学生实际遇到的交互历史记录上优化学生策略。然而，完全依赖学生生成的历史记录可能导致教师监督不可靠，如果这些历史记录偏离了教师可靠的交互支持范围。为解决这个问题，作者们提出了一种可靠性感知的交互前缀分布，它在学生相关性和教师可靠性之间取得平衡。这通过一个桥接目标形式化，该桥接目标使用几何桥接分布在学生占用和教师占用之间进行插值。

为了高效实现这一原则而无需持续的环境交互，作者们引入了重放前缀在线策略蒸馏（ReOPD）。该算法在离线环境下运行，使用固定池的预收集教师轨迹。该方法依赖两个核心组件：教师强制前缀与学生动作和教师监督，以及可靠性感知的步长调度。对于任何监督步，交互前缀从教师轨迹中逐字重放。然后学生在该前缀上自回归地生成自己的动作，而教师记录的 conditional distribution 提供蒸馏目标。这种设计确保学生评估的步骤是真正在线策略的，同时将回滚严格限制在教师占用范围内，完全消除了对环境查询的需求。

将教师池重塑为理想分布所需的确切桥接权重，涉及计算沿前缀的每个历史记录的学生-教师似然比。作者们观察到，随着前缀变长，该比率自然衰减，因为在更深步骤，学生越来越不可能跟随教师记录的动作。如下图所示，似然比的对数相对于归一化步长指数表现出强烈的单调衰减，表明步长指数作为昂贵前缀级比率的极为有效的代理。

因此，作者们用一个稳定的单参数步长衰减调度替换了精确的密度比权重，定义为 $\omega(t; \kappa) = \kappa^t$ω(t;κ)=κt，其中 $\kappa \in (0, 1]$κ∈(0,1] 控制衰减的陡峭程度。

最终的加权蒸馏目标最小化学生和教师分布之间的token级别的KL散度，并通过该步长衰减调度重新加权。通过按调度比例采样训练位置，该方法将监督集中在早期、低偏移的位置，这些位置教师信号高度可靠，同时优雅地弱化后期步骤，因为后期教师的 conditional distribution 成为理想改进目标的不良代理。陡峭度参数 $\kappa$κ 直接与教师与当前学生之间的平均每步KL散度相关联，使调度能自动适应教师-学生差距。

实验

ReOPD用教师记录前缀的重放取代了在线学生-环境交互，使蒸馏每步训练速度至少快四倍，同时保持或提高学生准确率。在数学推理任务上，教师-学生能力差距可能降低教师对学生引起的历史记录的可靠性，ReOPD始终优于完全在线OPD；在搜索任务上，它匹配OPD准确率。收益来自教师可靠性感知的前缀选择，该选择偏好早期教师强制步骤，并且该方法有效地结合了多个环境，而无需在学生训练期间使用实时工具。

当教师-学生能力差距较大时，教师自身的GRPO展开提供了比学生在线策略展开更可靠的前缀池，从而在数学推理任务上带来显著提升。在教师对学生历史记录已经可靠的搜索任务上，学生在线策略OPD和ReOPD表现相似，证实了最优回滚取决于可靠性状态。ReOPD重用教师的GRPO轨迹作为前缀池，避免了专门的收集，同时匹配一个固定的教师池。在数学推理上，ReOPD在Qwen3-8B教师下将AIME24从28.3提升到36.7，并提高了所有教师设置下的平均水平。在搜索任务上，学生在线策略OPD和ReOPD的平均准确率几乎相同（40.5对40.6），表明当教师已经可靠时，教师锚定的回滚是平手的。教师锚定的前缀优于来自更强模型的前缀，确认了相对于教师的可靠性，而非独立能力，才是关键。跨任务使用单一固定值κ=0.6已经能实现适合不同状态的行为，并建议将差距自适应调度作为自然的扩展。

两个环境都使用温度1.0。数学任务最多允许生成16,384个token，搜索任务则限制为8,192个token。对于最难的数学基准测试（AIME24、AIME25、AMC23），准确率取8次采样的平均值，其他数学基准测试取4次采样，搜索任务为单次采样。具有挑战性的竞赛数学基准测试使用8次采样取平均以减少pass@1估计的方差。搜索评估使用n=1，反映了检索环境的确定性本质。

在数学推理上，ReOPD比完全在线OPD不断提升学生表现，当教师-学生差距更大时提升最大。该方法将回滚锚定在教师支持的历史记录上，避开了学生引起的漂移，即教师变得不太可靠的情况。对于从同规模Qwen3-4B教师学习的Qwen3-4B学生，ReOPD将六个数学基准测试的平均准确率从55.1提升到57.2。随着教师-学生差距扩大，ReOPD相对于OPD的优势增大，这与教师可靠性状态一致，即学生在线策略回滚漂移到不太值得信赖的教师目标。

在搜索蒸馏中，当教师对学生轨迹保持可靠时，ReOPD与在线学生在线策略蒸馏（OPD）表现相当。学生在ReOPD下的平均准确率为40.5，而OPD为40.6，涵盖一般和multi-hop问答基准测试，而基础模型为35.6。这证实了在教师可靠的情况下，教师锚定的重放可以替代实时环境交互而不牺牲准确率。在搜索任务上，ReOPD匹配OPD准确率（平均40.5对40.6），当教师可靠时消除了在线展开的需要。学生蒸馏（OPD）将平均准确率从基础模型的35.6提升到40.6，略微超过教师自身的GRPO结果40.4。ReOPD保持OPD级别的性能，同时在学生更新时使用零工具调用，使训练每步速度提高超过4倍。

一个单一的Qwen3-4B学生使用ReOPD从分开的数学和搜索教师联合蒸馏，在数学基准测试上匹配了在线学生在线策略蒸馏（OPD）的性能。联合训练消除了学生更新期间对在线环境交互的需求，表明来自异构环境的离线重放可以有效地结合。ReOPD的可靠性感知调度延续到多领域设置，使学生与OPD持平。在数学上，联合ReOPD学生在AIME24（36.3对32.5）和Minerva（44.5对43.5）上优于OPD，在Olympiad（57.4）上持平，在AIME25（30.8对35.4）和AMC23（75.5对75.9）上仅略微落后。使用ReOPD的联合训练避免了学生更新时的在线工具调用，使得一个学生能从两个领域蒸馏，而无需保持任一环境处于活跃状态。

实验评估了ReOPD，该方法重用教师的GRPO轨迹作为前缀池，在不同的教师-学生能力差距下进行数学推理和搜索任务。当差距较大时，学生在线策略展开变得不可靠，ReOPD通过锚定于教师支持的历史记录大幅提升数学表现；在教师已经可靠的搜索任务上，ReOPD无需实时环境交互即可匹配在线蒸馏。使用ReOPD在多个领域进行联合训练也保持了准确率，同时避免了学生更新时的在线工具调用。结果证实，教师锚定的重放通过适应教师的可靠性状态，为在线蒸馏提供了一种稳健且成本高效的替代方案。