一句话总结

上海人工智能实验室、复旦大学等机构的研究者提出代理引导的更新信号迁移（PUST），这是一种模块化后训练范式，通过使用轻量级代理模型发现高奖励行为，提取其初始状态与优化状态之间的相对改进信号，并将该方向性更新传递给主LLM，从而将更新信号探索与分布对齐解耦，实现异步、可复用、成本高效的弱到强增强，适用于数学和代码任务。

核心贡献

• 后训练被重新解释为策略探索与策略对齐两个不同阶段，现有方法中两者的紧密耦合被证明会推高探索成本并限制跨模型适应能力。
• 代理引导的更新信号迁移（PUST）框架将更新信号探索与对齐解耦：轻量级代理模型发现高奖励行为，相对改进信号被提取并作为方向性更新传递给主模型。
• 在Qwen3系列模型上针对数学和代码领域的系统评估表明，来自显著更弱代理的更新信号能够稳健地提升更强的代理模型，且迁移强度可调。这些信号可以异步缓存和复用，从而形成一种模块化、成本高效的后训练范式。

引言

针对特定领域任务对大语言模型（LLM）进行后训练至关重要，但随着模型规模增长和需要处理多个领域，成本越来越高昂。PPO和GRPO等现有方法依赖序列化的在策略rollout，使得跨领域适应成本高昂。虽然OPD等分布匹配方法通过将学生模型与专家教师对齐来实现并行化，但它们仍然在同一个模型中将探索与对齐紧密耦合，阻止了已发现改进信号的异步复用和跨模型迁移。作者提出代理引导的更新信号迁移（PUST），该框架通过使用轻量级代理模型进行低成本探索，提取代理模型初始状态与优化状态之间的相对改进信号，并将该信号迁移以指导主模型的更新，从而实现这些阶段的解耦。这使得可复用、可扩展和跨模型的后训练成为可能，包括弱到强迁移，并将该过程转化为信号探索、提取和对齐的模块化流水线。

方法

作者首先分析后训练中奖励优化与分布匹配之间的根本差异。奖励优化主动寻找高奖励行为，而分布匹配则使模型与预先确定的分布对齐。为评估它们的训练效率，作者使用Qwen3-1.7B对GRPO和OPD进行比较。

比较分析表明，尽管分布匹配变体能快速收敛，但它们缺乏内在的奖励感知，并将学生分布与教师分布无差别地对齐。这说明策略改进的真正方向性信号源于主动探索。为了打破对预先存在的强目标策略的依赖，作者围绕更新信号的概念重新构建后训练。他们利用代理模型探索由奖励诱导的更新信号，然后将这些信号提取并迁移到主模型，从而将该过程解耦为三个阶段：代理探索、更新信号提取和信号迁移。

在第一阶段，代理探索，作者部署轻量级代理模型作为高效的试错探索测试平台。他们不直接更新主模型（这会带来高昂的采样成本），而是通过标准奖励优化来优化代理策略，以最大化给定的奖励函数。这种解耦设计允许高效的策略探索，并支持并行部署多个代理模型以探索多样化的高奖励行为。

在第二阶段，更新信号提取，作者提取相对改进信号，而非进行绝对蒸馏。对于每个状态和token，代理诱导的token级更新方向定义为： $\Delta_{\phi} (a \mid s_t) = \log \pi_{\phi}^+ (a \mid s_t) - \log \pi_{\phi} (a \mid s_t) = \log \frac{\pi_{\phi}^+ (a \mid s_t)}{\pi_{\phi} (a \mid s_t)}$Δϕ​(a∣st​)=logπϕ+​(a∣st​)−logπϕ​(a∣st​)=logπϕ​(a∣st​)πϕ+​(a∣st​)​ 这种相对信号封装了奖励诱导的方向，指示代理选择某个token的倾向是被鼓励还是被抑制。这种广义的方向性改进具有高度可迁移性，无论代理的绝对能力如何，并可缓存以供复用。

在最后阶段，信号迁移，作者将提取的相对改进应用于主模型。为防止重复迁移静态信号导致的严重过度更新，他们引入基于锚点的更新校准。他们定义主模型-锚点对数比，以动态衡量主模型已吸收的更新量： $\Delta_{\theta} (a \mid s_t) = \log \frac{\pi_{\theta} (a \mid s_t)}{\pi_{\mathrm{ref}} (a \mid s_t)}$Δθ​(a∣st​)=logπref​(a∣st​)πθ​(a∣st​)​ 为防止过度更新，该项被用作惩罚项，以定义token级迁移效用： $r_{\lambda} (a \mid s_t) = \Delta_{\phi} (a \mid s_t) - \lambda \Delta_{\theta} (a \mid s_t)$rλ​(a∣st​)=Δϕ​(a∣st​)−λΔθ​(a∣st​) 其中校准系数决定了对齐的保守程度。

最后，作者构建了信号引导目标。给定一组token级状态，他们通过最大化期望迁移效用来优化主策略，这等价于最小化以下目标： $\mathcal{L}_{\text{proxy}} (\theta) = - \mathbb{E}_{s_t \sim \mathcal{D}} \left[ \sum_{a \in \mathcal{V}} \pi_{\theta} (a \mid s_t) \left( \log \frac{\pi_{\phi}^+ (a \mid s_t)}{\pi_{\phi} (a \mid s_t)} - \lambda \log \frac{\pi_{\theta} (a \mid s_t)}{\pi_{\text{ref}} (a \mid s_t)} \right) \right]$Lproxy​(θ)=−Est​∼D​[∑a∈V​πθ​(a∣st​)(logπϕ​(a∣st​)πϕ+​(a∣st​)​−λlogπref​(a∣st​)πθ​(a∣st​)​)] 代理策略和锚点策略保持严格冻结，梯度仅应用于主策略。该机制充当一种高效的分布匹配算法，对齐到通过将代理探索的更新信号迁移到主模型锚点空间而构建的动态目标。

实验

实验使用数学和代码领域经过GRPO训练的代理模型，将更新信号迁移到主模型，评估迁移效果、可复用性、传递性、校准敏感性和探索质量。代理信号持续提升主模型，通常超过代理自身的收益，并且可以跨不同模型复用或通过传递性迁移，伴随轻微漂移；最优校准系数取决于信号，通常大于1。尽管代理探索略弱于直接探索，但更大的代理和更长的训练可以缩小差距，而信号探索与主模型的解耦使得灵活、成本高效的后训练成为可能。

在数学数据集上使用强化学习训练的小型代理模型显示出大幅基准提升，4B模型平均提升30.5分。当这些更新信号迁移到8B主模型时，在所有评估基准上均产生一致的提升，有时超过代理自身的改进。这表明代理探索的信号可以有效地复用，将探索与主模型解耦。Qwen3-4B代理模型在数学基准上经过强化学习后平均提升30.5分，优于1.7B代理的16.6分提升。从这些代理模型迁移到Qwen3-8B主模型的更新信号带来了一致的改进，在AIME2024和HMMT25(NOV)上超过了代理自身的收益。

通过PUST将4B代码代理的更新信号迁移到8B主模型，平均代码基准性能提升+4.6分，超过了代理自身训练的+2.9收益。最大收益出现在LCB基准上，主模型的提升（+8.3）远超代理的提升（+1.0），表明迁移的信号可被更强大的模型放大。使用PUST的8B主模型达到60.5的平均分，比其基础模型提高+4.6，而4B代理自身的RL训练仅带来+2.9的平均提升。在LCB上，主模型的分数从16.7跃升至25.0（+8.3），而代理仅从18.0小幅提升至19.0（+1.0）。PUST使8B模型在所有基准上均优于4B代理，在LCB上的相对提升最大。

使用GRPO训练的代理模型能够捕获有效的更新信号，并在极少的步数内迁移到各种主模型。迁移的信号在数学基准上带来显著收益，最大主模型获得最高的绝对分数，尽管收益几乎与代理自身的改进相同。复用代理的更新信号只需50个训练步，相比最初探索信号所用的500步减少了十倍。当迁移到更大的主模型时，相同的更新信号产生比代理模型本身更高的平均基准分数，表明信号随着模型规模有效扩展。

代理探索的更新信号可以迁移到主模型，大幅提高数学基准分数。从较大代理模型直接迁移获得最高收益，而通过中间模型进行的传递性迁移仍能提供较强改进，但相比直接路径略有下降。最小的代理模型产生的收益最弱，表明代理模型规模影响迁移信号的质量。从4B代理直接迁移实现了对基础Qwen3-8B的最大平均提升。传递链4B→1.7B→8B带来了可观的收益，但低于直接4B→8B迁移，表明多次跳跃会出现信号漂移。1.7B代理迁移产生的收益最小，说明更大的代理模型能产生更有效的更新信号。

在数学和代码任务上使用强化学习训练小型代理模型可产生有效的更新信号，当通过PUST迁移到更大的主模型时，这些信号带来一致的基准改进，常常超过代理自身的收益。迁移的信号可高效复用，将探索与主模型解耦，并只需极少的训练步数，同时随模型规模扩展。更大的代理模型产生更强的信号，直接迁移优于传递链，表明代理质量和迁移路径均影响整体收益。