一句话总结

来自中国人民大学高瓴人工智能学院和新加坡国立大学的研究者提出 Agent-Reflex，一个结合 Environment Reflection Skill Discovery、Reflective Supervised Fine-Tuning 和 On-Policy Reflective Policy Optimization 的训练框架，用于在噪声反馈下教授主动反思能力；基于 Qwen3-8B 构建，在五个长程工具使用基准上达到 58.6，在 AgentNoiseBench 上达到 29.1。

核心贡献

• 该工作识别了两个部署差距，即噪声工具反馈和执行过程中有限的用户引导纠正，并提出 Environment Reflection Skill Discovery（RSD），将基于真实工具反馈的扰动注入环境扩展中，并从跨能力多样 LLM 池采样得到的匹配成功/失败轨迹对中挖掘可复用的反思元技能。
• 在发现的技能库基础上，该工作提出 Reflective Supervised Fine-Tuning（ReSFT），将每个元技能转化为用于自我反思、技能恢复和以用户为中心的纠正的监督信号，以强化互补的反思行为。
• 该工作进一步提出 On-Policy Reflective Policy Optimization（ORPO），将噪声交互下的 agent 强化学习与反思引导的在策略蒸馏相结合，并报告基于 Qwen3-8B 的 Agent-Reflex 在五个长程工具使用基准上总体达到 58.6，在 AgentNoiseBench 上达到 29.1，优于环境扩展和反思基线。

引言

大语言模型的最新进展推动 agent 走向长程工具使用，但扩展这些 agent 需要真实、有状态的执行环境，使其能够学习可迁移的交互经验。此前的环境生成工作要么将 LLM 视为隐式世界模型，可能产生幻觉反馈，要么构建可执行工具环境，但这些环境通常仍然稳定且无噪声。现有训练设置也缺乏真实的噪声工具返回和多样化的用户引导纠正，并且许多反思方法在简化或无状态设置中训练。作者通过提出 Agent-Reflex 来解决这一问题，该训练框架从噪声可执行环境中的执行失败中挖掘反思元技能，并通过反思监督微调和在策略反思策略优化将其内化。

数据集

数据集描述：Agent-Reflex 环境与反思监督数据

作者构建了一个由验证器支持的环境生态系统，并从中推导出用于监督微调的反思监督样本。

• 主要来源

  • 来自 Smithery 的 557 个高使用率 MCP 服务器规范，每个规范定义一个环境主题。
  • 通过在九个公开 agent 基准上重放 agent 收集的 177,700 条工具返回；其中 24,510 条是错误返回。
  • 由九个 LLM 组成的能力多样池，涵盖五个模型家族，参数量从 4B 到 284B。

• 环境数据集构建

  • 对每个主题，研究 agent 使用搜索、浏览器、编码和操作系统工具构建并迭代丰富一个基于主题的数据库。
  • 编码 agent 根据主题及其数据库生成候选工具和单元测试。
  • 工具仅在其能够编译、通过所有测试、满足状态转换约束且支持可执行任务验证时被保留。
  • 因此，每个环境包含数据库、经过验证的工具集和验证器。
  • 最终生态系统在 557 个主题中每个主题包含 60 个由验证器支持的任务。

• 失败挖掘与注入

  • 观察到的错误返回按表面形式分为八个可操作的失败类别。
  • 失败按概率注入工具返回中，并在八个类别之间平衡，以使稀有失败获得足够的训练实例。
  • 干净任务和扰动任务仅在其分别允许可验证解决方案和可验证恢复时被保留。

• 轨迹与元技能数据

  • 九模型池中的每个模型在相同采样协议下与噪声生态系统中的每个任务进行交互。
  • 分析器模型和环境验证器共同将每个 rollout 标记为正确或错误。
  • 错误数据包括诊断出的错误原因、第一个错误轮次以及环境状态快照。
  • 来自同一任务的正确轨迹和错误轨迹被配对。
  • 配对过滤限制每个任务贡献的配对数量，并要求每个环境从至少五个不同任务中提取配对。
  • 配对样本使用模式 (q, τ+, τ−, e, t*, state snapshot)。
  • 分析器提取反复出现的失败模式并将其转换为可执行的反思技能。
  • 每个环境存储其描述、工具、观察到的错误模式和提取的反思技能。

• ReSFT 数据构建与使用

  • 作者从配对轨迹数据构建三个反思监督子集：
    1. Self-Reflection Sampling（SR）： 恢复到第一个错误状态，附加匹配技能，从冻结行为策略采样一个延续，并仅保留验证器成功的延续。特权技能从存储输入中移除。
    2. Skill Recovery Sampling（KR）： 重置到初始状态，从任务加匹配技能重新开始，并仅保留验证器成功的延续。特权技能在存储前被移除。
    3. User-Centric Reflection Sampling（UR）： 用户模拟器将匹配技能转换为自然语言纠正。该纠正被插入到错误之后并保留在存储输入中，而特权技能被移除。
  • 最终 ReSFT 数据集是由目标行为策略生成的正确轨迹与 SR、KR 和 UR 子集的并集。
  • 训练在此并集上使用 next-token 监督微调。
  • 所提供的文本未指定确切的轨迹子集大小、训练划分或 ReSFT 子集的混合比例。

方法

作者提出 Agent-Reflex，一个旨在将环境失败转化为 agent 系统稳健反思能力的框架。该方法包括三个顺序阶段：Environment Reflection Skill Discovery、Reflective Supervised Fine-Tuning 和 On-Policy Reflective Policy Optimization。

如下图所示：

第一阶段，Environment Reflection Skill Discovery，重点构建具有失败感知能力的可执行环境，并将与验证器匹配的轨迹对挖掘到离线技能库中。为构建具有工具失败的真实环境，作者选择高使用率的 MCP 服务器规范并迭代丰富基于主题的数据库。编码 agent 随后生成候选工具和单元测试，仅保留能够编译、通过测试并支持可执行任务验证的工具。为模拟不稳定的真实部署，系统注入基于观察到的失败的扰动。通过在公开 agent 基准上重放 agent，作者收集工具返回并将其分组为可操作的失败类别。这些失败按概率注入工具返回以模拟真实部署：

$$o_{t+1}^{\text{train}} = \begin{cases} J(o_{t+1}), & b_{t+1}^{\text{inj}} = 1, \\ o_{t+1}, & b_{t+1}^{\text{inj}} = 0, \end{cases} \quad b_{t+1}^{\text{inj}} \sim \text{Bernoulli}(p_{\text{inj}})$$ot+1train​={J(ot+1​),ot+1​,​bt+1inj​=1,bt+1inj​=0,​bt+1inj​∼Bernoulli(pinj​)

其中渲染器将真实返回替换为兼容的失败，并在识别出的失败类别之间保持平衡。

环境构建完成后，作者进行反思元技能提取。为避免轨迹集中在特定模型的推理倾向周围，他们从与噪声生态系统交互的能力多样 LLM 池中采样轨迹。分析器模型和环境验证器共同标记每个 rollout，以识别正确和错误的轨迹。通过配对来自同一任务的成功和失败轨迹，分析器识别反复出现的失败模式，并将其转换为可执行的恢复规则。该过程产生一个离线反思元技能库，其中每个技能将 agent 的错误模式映射到纠正动作，从而支持在同一环境内跨任务复用。

第二阶段，Reflective Supervised Fine-Tuning，将这些显式反思技能转化为策略行为。从冻结行为策略开始，作者构建三种互补的反思监督形式。对于 Self-Reflection Sampling，环境被恢复到第一个错误轮次之前的状态快照。纠正技能被附加到部署可见历史中，以教授失败意识和局部修复。随后该技能从存储输入中移除，迫使策略从自身错误状态中学习恢复。对于 Skill Recovery Sampling，其针对源于错误初始计划的失败，环境被重置到初始状态并在匹配技能下重新开始，以教授全局恢复。最后，User-Centric Reflection Sampling 教授 agent 响应用户干预。用户模拟器将匹配技能转换为自然语言纠正，并在错误轮次之后插入。由于用户消息是部署可见的，它保留在存储输入中，而特权技能被移除。所有生成的延续都经过环境验证器的严格过滤，验证后的数据集与正确轨迹合并形成微调数据集，并通过标准负对数似然损失进行优化：

$$\mathcal{L}_{\text{ReSFT}} = - \sum_{(x, y) \in \mathcal{D}_{\text{ReSFT}}} \log \pi_{\theta}(y \mid x)$$LReSFT​=−(x,y)∈DReSFT​∑​logπθ​(y∣x)

第三阶段，On-Policy Reflective Policy Optimization，通过将基于结果的 agent 强化学习与 token 级、反思引导的在策略蒸馏相结合，进一步激发主动反思。在 Noisy Agentic Reinforcement Learning 组件中，策略在噪声环境和干净环境的混合组中生成轨迹。环境验证器分配回报，并在混合组内进行归一化，以将真实失败保留在在策略分布内。裁剪后的 Agent RL 目标传播这种结果监督。为给导致失败的决策提供密集监督，Reflection On-Policy Distillation 组件以相应环境的反思元技能为条件。当前策略充当教师，在技能增强历史下对已经采样的动作 token 重新评分。计算分离的技能诱导偏移及其置信度权重以优化蒸馏目标。这种软加权强调具有正技能诱导偏移的 token。最终优化目标联合优化基于结果的 Agent RL 和反思蒸馏损失：

$$\mathcal{L}_{\text{ORPO}} = \mathcal{L}_{\text{RL}} + \lambda_{\text{opd}} \mathcal{L}_{\text{OPD}}$$LORPO​=LRL​+λopd​LOPD​

这结合了轨迹级结果学习和 token 级反思监督，以增强策略的主动反思能力。

实验

这些实验在长程工具使用基准上评估 Agent-Reflex，包括 BFCL-v4、ACEBench、ToolSandbox、τ²-Bench 和 VitaBench，以及在 τ²-Bench 和 VitaBench 上构建的具有用户和工具噪声的噪声交互设置，并报告工具错误分布，如认证失败、超时、资源错误和速率限制。所有训练方法共享 Qwen3-8B 主干，基线涵盖反思、环境扩展和轨迹级 RL 方法。Agent-Reflex 实现了最佳的总体长程和噪声鲁棒性表现，收益归因于内化的反思监督、可复用的恢复技能以及互补的环境扩展。ORPO 相较于标准 RL 算法表现出稳定优势，消融实验确认每个组件都有贡献，其中失败意识和局部修复导致最大幅度的下降，token 级反思信号而非技能暴露是收益来源。

在五个长程工具使用基准上，Agent-Reflex 在强 7B-8B 基线中取得最高总体得分。它持续优于推理时反思、轨迹恢复和环境扩展方法，在 VitaBench、ACEBench 和 ToolSandbox 上优势尤为明显。结果表明，在验证过的恢复行为和可复用环境级元技能上进行训练，比推理时引导或更广泛的环境覆盖更能改善多轮工具使用。Agent-Reflex 在五个基准上的 7B-8B 方法中具有最佳总体表现。它在 VitaBench、ACEBench 和 ToolSandbox 上超过推理时反思基线，并在包括 BFCL V4 在内的四个基准上优于轨迹级恢复基线。它在全部五个基准平均值上优于环境扩展基线，其中 ACEBench 的收益主要来自更好的多轮交互，而不是步骤级准确率。

基础模型在工具和用户噪声下的 AgentNoiseBench 上表现出明显的性能下降。Agent-Reflex 在比较的 8B 方法中实现了最强的总体噪声鲁棒性结果，优于 NoisyAgent-8B 和其他基线。这表明其反思监督可以泛化到未见过的噪声交互条件。当工具反馈或用户交互受到扰动时，基础模型性能显著下降。Agent-Reflex 在总体噪声鲁棒性上领先于比较的 8B 方法，超过 NoisyAgent-8B 和其他强基线。该优势在工具噪声和用户噪声评估中均有所体现，表明对交互噪声具有更广泛的鲁棒性。

在两个 AgentNoiseBench 设置上对 Agent-Reflex 的消融实验表明，移除任何组件都会降低性能，说明这些模块是互补的。在监督组件中，移除 SR 导致最大下降，其次是 KR 和 UR。仅保留技能库是不够的，因为移除 OPD 或其置信度加权仍会降低得分，说明 token 级反思是收益的关键来源。移除任何组件都会降低两种设置下的表现，其中 SR 移除产生最大下降，监督顺序为 SR、KR、UR。在保留技能库的情况下，移除 OPD 或其置信度加权仍会降低得分，因此 token 级反思而非技能暴露驱动收益。

Agent-Reflex 在五个长程工具使用基准和一个噪声交互基准上进行了评估，其表现优于可比较的 7B-8B 基线，包括推理时反思、轨迹恢复、环境扩展和 NoisyAgent-8B。结果表明，在验证过的恢复行为和可复用环境级元技能上进行训练，可以改善多轮工具使用以及对工具和用户噪声的鲁棒性。消融实验表明所有组件均有贡献，其中 token 级反思监督带来最大收益，而仅暴露技能库是不够的。