一句话总结

香港科技大学（广州）与微软的研究者提出信任区域策略蒸馏（TOP-D），通过动态构建近端教师、借助全局收敛与单调改进界对梯度方差进行形式化控制，从而稳定在线蒸馏过程，并在不增加任何额外计算开销的情况下，大幅提升数学推理任务的训练稳定性、样本效率与最终性能。

核心贡献

• 信任区域策略蒸馏（TOP-D）是一种即插即用的蒸馏范式，能够平滑无界奖励信号，并安全地放宽标准在线蒸馏对严格在线数据重用约束的限制。
• 建立了一个严格的理论框架，其中外部近端教师天然地对梯度方差进行约束以稳定训练，并基于单调改进界进行收敛性分析，形成闭环，系统性地最小化渐近误差。
• 在数学推理基准上的实验表明，TOP-D在AIME24上的avg@32准确率相比标准OPD取得了25.84%的绝对提升，并始终优于OPD与RLVR基线，且无需额外计算开销。

引言

在线策略蒸馏（OPD）已成为大语言模型广泛采用的后训练范式，学生模型从更强教师的token级对数概率比中学习。这一形式化过程类似于稠密奖励强化学习，在保留监督微调知识的同时，比稀疏可验证奖励方法具有更好的样本效率。然而，标准OPD存在优化脆弱性，因为学生与教师之间的能力差距会导致奖励信号中出现无界的对数差异，从而引发高方差。现有的修复方法，如奖励裁剪与混合采样，均为缺乏理论保证的经验性启发式方法。作者提出信任区域策略蒸馏（TOP-D），该方法动态插值教师与学生的分布以构建近端教师，将无界奖励转化为平滑且具有严格下界的信号，从分析层面防止方差爆炸。配合用于安全离线数据重用的内部信任区域迭代，TOP-D保证了策略的单调改进并收紧收敛间隙，同时仅需简单的代数奖励变换，无需额外计算开销。

方法

作者提出信任区域策略蒸馏（TOP-D），这是一个统一的算法框架，旨在解决标准在线策略蒸馏（OPD）固有的优化脆弱性与低样本效率问题。为建立严格的理论基础，作者将自回归语言建模形式化为确定性马尔可夫决策过程（MDP）。在此形式化中，状态空间表示提示词与前缀，而动作空间包含词汇表与EOS token。即时奖励被定义为蒸馏信号，具体为目标教师策略与学生策略之间的对数概率比。

标准OPD的一个根本挑战源于学生与目标教师之间的能力差距。当教师为生成的token分配接近零的概率时，即时奖励会发散至负无穷，从而破坏策略梯度的稳定性。为解决这一不稳定性，作者构建了一个外部近端教师，作为局部化的替代目标分布。该近端教师在概率空间中对目标教师与当前学生策略进行插值： $\tilde{\pi}^* (y_k \mid x, y_{<k}) = \alpha \pi^* (y_k \mid x, y_{<k}) + (1 - \alpha) \pi_\theta (y_k \mid x, y_{<k})$π~∗(yk​∣x,y<k​)=απ∗(yk​∣x,y<k​)+(1−α)πθ​(yk​∣x,y<k​) 因此，token级奖励天然地变得平滑且具有严格下界，防止了灾难性发散。关于概率比的奖励行为可视化如下。

基于稳定后的奖励信号，作者引入内部信任区域迭代，以克服严格在线方法众所周知的低样本效率问题。通过将行为策略与目标策略解耦，该框架继承了现代信任区域算法的高样本效率。优化目标采用带有裁剪机制的重要性采样比，以限制具有破坏性的大幅策略更新： $J(\theta) = \mathbb{E} \left[ \frac{1}{\sum_{i=1}^G |y^i|} \sum_{i=1}^G \sum_{t=1}^{|y^i|} \left\{ \min \left[ p_t^i \cdot \hat{A}_t^i, \operatorname{clip}(p_t^i, 1-\epsilon, 1+\epsilon) \cdot \hat{A}_t^i \right] \right\} \right]$J(θ)=E[∑i=1G​∣yi∣1​∑i=1G​∑t=1∣yi∣​{min[pti​⋅A^ti​,clip(pti​,1−ϵ,1+ϵ)⋅A^ti​]}] 为充分利用近端教师提供的稠密奖励信号，作者采用了细粒度的token级归一化优势。对于每个提示词，优势依赖于一个token级奖励，该奖励结合了即时平滑奖励与长度归一化的未来回报： $\tilde{R}_k^i = \tilde{r}_k^i + \frac{1}{|y^i| - k} \sum_{j=k+1}^{|y^i|} \tilde{r}_j^i$R~ki​=r~ki​+∣yi∣−k1​∑j=k+1∣yi∣​r~ji​ 此形式化有效防止模型生成过短或过长的响应。跨响应的token级归一化过程如下所示。

TOP-D框架有全面的理论分析作为支撑。作者证明了近端教师天然地约束了梯度方差，其中插值系数充当直接的方差控制器。此外，他们推导出一个全局收敛界，揭示了固有的误差遗忘机制，隔离了早期的高方差更新。最后，为最小化单步优化误差并紧密闭合渐近收敛间隙，作者为内部信任区域迭代建立了单调改进保证。这种理论上的协同作用确保了在内部更新过程中，反向KL散度目标能够单调改进，从理论上严格保证了优化误差的持续最小化。

实验

评估涉及在DAPO-Math-17k数据集上训练，并在AIME与AMC竞赛上进行基准测试，使用Qwen3-1.7B/8B基础学生模型，由Qwen3-14B/30B教师模型进行监督，并将TOP-D与包括GRPO、DAPO和标准OPD在内的后训练基线进行比较。结果表明，TOP-D始终优于所有基线，其中相比标准OPD的提升最为显著，后者的无界奖励方差在师生能力差距较大时会导致不稳定与性能崩溃。消融研究证实，外部近端教师与内部信任区域迭代对于训练稳定性与样本效率均不可或缺，同时该方法对插值系数具有鲁棒性。

标准在线策略蒸馏（OPD）使用在线采样与稠密奖励，但训练稳定性低且理论保证较弱，这与监督微调（离线、稠密、高稳定性）和带可验证奖励的RL（在线、稀疏、低稳定性）形成对比。信任区域策略蒸馏（TOP-D）保留了在线稠密奖励，同时通过近端教师与信任区域迭代约束蒸馏奖励，实现了高稳定性与强理论保证，从而相比标准OPD带来了巨大的性能提升，尤其是在师生能力差距较大时。TOP-D将标准OPD的无界对数概率比转化为有界奖励，极大提升了训练稳定性，并为8B学生模型在AIME24上带来了超过25个绝对百分点的准确率提升。外部近端教师与内部信任区域迭代均不可或缺：移除近端教师会导致训练不稳定，而禁用信任区域迭代则会大幅降低样本效率。

TOP-D在数学基准上大幅超越所有基线。对于Qwen3-8B-Base模型，其AIME24准确率是标准OPD的两倍以上，并大幅超越最佳的RLVR方法。当缩小至更小的1.7B学生模型时，TOP-D依然保持鲁棒，而标准OPD则崩溃，突显了该方法跨模型规模的稳定性。对于Qwen3-8B-Base学生模型，TOP-D在AIME24上相比标准OPD取得了25.84个百分点的绝对提升，准确率达到50.42%。在相同的AIME24基准上，TOP-D以17.5个百分点的优势击败了最强的RLVR基线DAPO，证实了其相对于强化学习方法的优势。

对于Qwen3-1.7B-Base学生模型，标准OPD蒸馏落后于RLVR方法，在AIME24上仅达到8.96%，而DAPO为12.29%。TOP-D克服了这一脆弱性，将AIME24准确率提升至20%以上，并在AIME24与AIME25上均超越标准OPD超过10个百分点。这一差距突显了当师生能力差距严重时无界蒸馏的不稳定性。使用30B教师的标准OPD在AIME24上达到8.96%，落后于RLVR基线DAPO的12.29%。TOP-D将1.7B学生模型的AIME24准确率提升至20%以上，相比标准OPD提升了超过10个绝对百分点。

实验在数学推理基准上评估了策略蒸馏方法，使用了不同规模的Qwen3学生模型。标准在线策略蒸馏存在不稳定性与性能较弱的问题，尤其是在师生能力差距较大时，而信任区域策略蒸馏（TOP-D）引入了有界奖励与信任区域迭代，实现了高稳定性与强理论保证。TOP-D大幅超越标准OPD与强化学习基线，即使在学生模型小得多的情况下也表现出鲁棒性，且近端教师与内部信任区域步骤对其成功均至关重要。