一句话总结

清华大学的研究者提出单次 rollout 异步优化（SAO），这是一种面向大语言模型的异步强化学习框架，用单次 rollout 采样替代 GRPO 的分组采样，并采用严格的双侧 token 级裁剪来提高训练稳定性和离策略鲁棒性，从而在 agent 编程和推理基准上取得优越性能，并成功部署于 GLM-5.2（750B）的训练流程中。

核心贡献

• 单次 rollout 异步优化（SAO）用单次 rollout 采样（每个提示一次 rollout）替代分组采样，并引入价值模型训练，以降低大语言模型异步 RL 中的离策略效应。
• 提出严格的双侧 token 级裁剪策略，提高优化稳定性，使训练能够稳定进行一千步。
• SAO 在 agent 编程和推理基准（如 SWE-Bench Verified、BeyondAIME、IMOAnswerBench）上持续优于 GRPO 及其变体，并已部署于训练开源 GLM-5.2 模型（750B-A40B）的 agent RL 流程中。

引言

扩展大语言模型（LLM）的强化学习（RL）规模暴露了一个瓶颈：同步训练流程在等待最长的 rollout 时处于空闲状态，尤其是在轨迹长度高度可变的 agent 和编程任务中。异步 RL 通过持续向优化器提供 rollout 来避免这一问题，但它引入了离策略不稳定性，因为轨迹来自过时的策略版本。像 GRPO 这样的分组优势方法加剧了这一问题，因为它们需要某个提示的所有回复都完成才能进行更新，导致延迟驱动的策略滞后，并且与仅提供单条轨迹反馈的在线环境不兼容。作者提出了单次 rollout 异步优化（SAO），一种使用单次 rollout 更新而非分组采样的异步 RL 算法。SAO 通过 token 级重要性采样和严格的双侧裁剪来稳定策略滞后下的训练，通过更频繁的冻结注意力 critic 更新来加强价值模型训练，并通过一种跳过观察的 GAE 估计器处理多轮 agent 轨迹，该估计器跨动作边界计算优势，而不通过环境观察 token 传播噪声。在 agent 编程和数学推理基准上的评估显示，SAO 能够稳定训练约一千步，并优于改进的 GRPO，同时其单次 rollout 设计能自然地适应动态在线学习。

方法

作者引入 SAO 来解决异步强化学习（RL）训练中的训练不稳定和离策略漂移问题。通过利用简单的 token 级裁剪策略和单次 rollout 替代分组采样，异步 RL 可以稳定地扩展到数千个训练步骤，并取得显著的性能提升。

如下图所示：

与 GRPO 等分组采样算法不同，后者必须等待组内所有轨迹生成完毕才能开始训练，SAO 框架允许每条轨迹在完成后立即可用于训练。这种单次 rollout 设计消除了分组方法中固有的生成不平衡偏差和等待时间。

为了解决异步 RL 中 rollout 模型与训练模型之间的策略滞后，作者提出了直接双侧重要性采样（DIS）。在解耦的 PPO 中，重要性采样通常追踪三个不同的模型。然而，在异步 RL 中追踪精确的行为概率计算代价过高。为解决这一问题，作者直接使用 rollout 策略 $\pi_{\mathrm{rollout}}$πrollout​ 作为行为代理，并使用当前策略 $\pi_{\theta}$πθ​ 进行重要性采样，计算概率比： $r_t(\theta) = \exp(\log \pi_{\theta}(a_t | s_t) - \log \pi_{\mathrm{rollout}}(a_t | s_t))$rt​(θ)=exp(logπθ​(at​∣st​)−logπrollout​(at​∣st​)) 这消除了单独进行旧策略推理的需要。此外，他们采用了一种双侧校准 token 级掩码策略。与标准的 PPO 裁剪仅裁剪选定的离策略 token 不同，该方法将信任区域限制在区间 $[1 - \epsilon_{\ell}, 1 + \epsilon_h]$[1−ϵℓ​,1+ϵh​] 内。超出此范围的 token 会被完全从梯度计算中掩蔽，以防止极端策略偏离导致的不稳定。优化目标公式为： $L(\theta) = \hat{\mathbb{E}}_t \left[ f(r_t(\theta), \epsilon_{\ell}, \epsilon_h) \hat{A}_t \log \pi_{\theta}(a_t | s_t) \right]$L(θ)=E^t​[f(rt​(θ),ϵℓ​,ϵh​)A^t​logπθ​(at​∣st​)] 其中校准函数 $f(x; \epsilon_{\ell}, \epsilon_h)$f(x;ϵℓ​,ϵh​) 定义为： $f(x; \epsilon_{\ell}, \epsilon_h) = \begin{cases} x, & \text{if } 1 - \epsilon_{\ell} < x < 1 + \epsilon_h \\ 0, & \text{otherwise} \end{cases}$f(x;ϵℓ​,ϵh​)={x,0,​if 1−ϵℓ​<x<1+ϵh​otherwise​

为了进一步减少单次 rollout 优化中固有的离策略漂移和梯度估计的高方差，作者实施了多种策略来优化价值建模。首先，他们引入了更快的价值更新机制。认识到不准确的价值模型 $V_{\phi}$Vϕ​ 会导致有噪声的优势估计 $\hat{A}_t$A^t​，他们将策略模型和价值模型的优化频率解耦。对于策略 $\pi_{\theta}$πθ​ 的每一次梯度更新，他们对价值网络 $V_{\phi}$Vϕ​ 强制执行 $K$K 次更新（其中 $K > 1$K>1），以促进价值估计的更快适应。

其次，为了稳定价值模型训练，他们采用了冻结注意力策略。观察到梯度不稳定性主要源自全注意力层而非混合专家（MoE）层，他们在 RL 训练期间冻结 $V_{\phi}$Vϕ​ 中注意力模块的参数，仅优化 MoE 投影。这通过依赖预训练的注意力权重来获得语义能力，有效地正则化了价值模型。

第三，对于具有包含模型动作和环境反馈的轨迹结构的 agent 任务，标准的广义优势估计（GAE）在跨动作和观察之间的不连续边界计算优势时会引入噪声。作者推导出一种跳过观察的 GAE，显式修改了贝尔曼目标以绕过环境反馈 token。优势定义为： $\hat{A}(a_{i, N}) = \delta + \gamma \lambda \hat{A}(a_{i+1, 0})$A^(ai,N​)=δ+γλA^(ai+1,0​) 其中时序差分残差 $\delta$δ 弥合了观察间隙： $\delta = r_t + \gamma V(a_{i+1, 0}) - V(a_{i, N})$δ=rt​+γV(ai+1,0​)−V(ai,N​) 这将优势估计限制为仅依赖模型输出。最后，为了支持这些机制，作者扩展了用于价值模型预训练的数据，以克服价值估计中的冷启动问题，为单次 rollout 和更快更新机制提供稳健的初始化点。

实验

实验在 agent 推理、编程和模拟在线学习任务上评估了 SAO 方法，使用在工具集成推理数据上微调的 Qwen3-30B-A3B-Thinking-2507 模型。SAO 持续优于标准 GRPO 和 VAPO 等基线，后者遭遇训练崩溃，而其设计选择（包括更快的价值更新和冻结注意力 critic 训练）被证明对稳定性和性能至关重要。训练动态分析显示，SAO 实现了更高的可解释方差、更平滑的 critic 梯度以及有效的裁剪，并且在一个具有变化风格偏好的在线写作模拟中，它通过利用状态依赖的价值模型，比滑动平均基线适应得更快。

GLM-4.7 和 GPT-5 High 在所有数学推理基准上领先，GLM-4.7 在 AIME2025、HMMT 和 IMOAnswerBench 上达到最高准确率。Qwen3-30B-A3B 在不使用 Python 时表现有竞争力，但启用 Python 执行会导致准确率急剧下降。在 Python 数据上的监督微调部分恢复了性能，但仍低于不使用 Python 的设置。GLM-4.7 在 AIME2025（95.7%）、HMMT（93.5%）和 IMOAnswerBench（82.0%）上达到最高准确率，GPT-5 High 紧随其后。在 Qwen3-30B-A3B 中启用 Python 工具使用后，AIME2025 准确率从 85.0% 下降到 14.6%，而使用 Python 的 SFT 部分恢复到 80.4%，但仍落后于无 Python 变体。

在 SWE-Bench Verified 基准上，SAO 达到 29.8% 的准确率，超过基础 Qwen3-30B-A3B 模型（23.0%）和带有 DIS 的稳定 GRPO 变体（27.0%）。标准 GRPO 在训练早期崩溃，而 DIS 策略稳定了学习；SAO 基于 critic 的优势估计随后在大约 400 个训练步骤后提供了额外的性能提升。SAO 在 SWE-Bench Verified 上达到最高准确率（29.8%），优于基础模型（23.0%）和带有 DIS 的 GRPO（27.0%）。带有 DIS 的 GRPO 防止了标准 GRPO 中出现的早期训练崩溃，SAO 在约 400 步后进一步拉大了性能差距，展示了稳定性和改进的最终结果。

消融实验显示，每个策略步骤更新价值模型两次比单次更新带来更高的准确率，因为更频繁的 critic 更新能更好地跟踪策略变化。冻结注意力价值训练优于全参数更新，后者导致 AIME2025 准确率大幅下降，BeyondAIME 略有下降，表明冻结注意力正则化了复杂推理的 critic 优化。将 critic 更新从每个策略步骤两次减少到一次会降低两个评估数据集上的准确率。全参数价值训练相对于冻结注意力训练性能下降，对 AIME2025 基准的影响尤为严重。

消融实验证实，更快的 critic 更新和冻结注意力价值训练对 SAO 的性能都至关重要。移除更快的价值更新或冻结注意力会导致准确率持续下降，而滑动平均基线和普通 VAPO 均大幅表现不佳，验证了每个组件。将每个批次的 critic 更新从两次减少到一次会降低准确率，表明单次更新无法可靠地跟踪快速的策略变化。从冻结注意力切换到全参数价值更新会损害性能，表明注意力冻结有助于正则化复杂推理任务中的 critic 优化。用滑动平均奖励基线替换学习到的价值模型会导致准确率大幅下降，证明了状态依赖的 critic 对于可靠的优势估计是必要的。

数学推理基准显示 GLM-4.7 和 GPT-5 High 达到最高准确率，而启用 Python 工具使用会导致 Qwen3-30B-A3B 的准确率严重下降，监督微调仅能部分恢复。在 SWE-Bench Verified 上，SAO 方法通过使用基于 critic 的优势估计器、冻结注意力价值训练和频繁的 critic 更新，超越了基础和 GRPO 变体，稳定了强化学习并防止了早期训练崩溃。消融实验证实，更快的价值模型更新和冻结注意力都至关重要，用滑动平均基线替换学习到的 critic 会显著降低性能，突显了状态依赖的价值函数对于复杂推理任务的重要性。