一句话总结

中国科学技术大学等提出 EvoPolicyGym，一个由紧凑交互式强化学习环境构成的基准，用于评估迭代策略改进，其中 GPT-5.5 取得最强的综合排名分数并在全部 16 个环境中均位列前两名，轨迹级诊断揭示出强大的自主策略演化依赖于在固定交互预算下发现任务适宜的机制并将反馈转化为参数调优。

核心贡献

• 该论文引入自主策略演化（Autonomous Policy Evolution），这是一个受控评估设置，其中 harness-model agent 在固定交互预算下迭代编辑可执行策略，从可见的训练反馈中学习，并在隐藏的验证选定留出表现上评估。
• EvoPolicyGym 通过基于紧凑交互式强化学习环境构建的基准实例化了该设置；在 Core16 套件上，GPT-5.5 取得最强的综合排名分数，并在全部 16 个环境中均位列前两名。
• 从基准的轨迹级诊断显示，agent 分配预算并将反馈转化为参数化代码变更，揭示出强大的自主策略演化依赖于在固定交互预算下发现任务适宜的机制并根据边界反馈优化策略，而非孤立的单一任务成功。

引言

现代编程 agent 和自改进系统可以通过工具使用和反思迭代优化输出，然而评估这种迭代能力颇具挑战，因为最终得分常常掩盖轨迹级别的问题，例如对可见反馈的过拟合、盲目重试和低效探索。现有的基准侧重于一次性补丁、不断变化的规格下的离散单元测试结果、片段式任务完成或领域特定的系统构建，并未独立评估将有限、稀疏的反馈转化为可泛化可重用策略的核心能力。作者通过形式化自主策略演化并引入 EvoPolicyGym 来填补这一空白，EvoPolicyGym 是一个受控基准，其中 agent 在固定交互预算下反复编辑可执行策略，只有沙盒化的训练反馈可见，留出泛化性能被隐藏。该设计使策略演化本身成为被评估的对象，既支持排行榜比较，也支持轨迹级别的诊断，从而揭示 agent 如何分配预算、解读反馈并将其转化为稳健的代码改进。

方法

作者引入 EvoPolicyGym，这是一个框架，将自主策略演化定义为针对可执行决策策略、以 agent 驱动的优化循环。在此设定中，编程 agent 维护一个持久化策略工作区，提交候选修订以进行可见的训练回合，接收服务器生成的回合摘要和轨迹，并在固定的回合预算下修订策略。主要评估单位是一个完整的预算受限运行，通过其最佳验证检查点的留出回报进行评分。

在指定基准协议之前，该框架定义了三个核心对象：环境、策略系统和回合。环境通过标准的 reset 和 step 接口暴露观察、接收动作并返回奖励。策略作为决策规则，使用观察和内部状态 $h_t$ht​ 选择动作。确定性策略将 $(o_t, h_t)$(ot​,ht​) 映射到动作和更新后的状态 $(a_t, h_{t+1}) = \mu(o_t, h_t)$(at​,ht+1​)=μ(ot​,ht​)，而随机策略从 $\pi(\cdot \mid o_t, h_t)$π(⋅∣ot​,ht​) 中采样。在 EvoPolicyGym 中，这种有状态的映射由编程 agent 编写的可执行 Python 工件实现。回合表示一次完整的策略-环境交互，从重置开始并在终止时结束，累积奖励作为回报。

自主策略演化协议评估编程 agent 从环境反馈中优化该可执行策略系统的能力。一次运行从一个环境、一个初始工作区和固定的回合预算开始。在第 $i$i 次观察到的修订中，工作区状态为 $W_i$Wi​，服务器编写的反馈为 $F_i$Fi​，剩余预算为 $B_i$Bi​。可执行策略系统由工作区引发为 $P_i = \Phi(W_i)$Pi​=Φ(Wi​)。编程 agent $\pi_\theta$πθ​ 包括一个语言模型及其工具利用 harness，观察 $(W_i, F_i, B_i)$(Wi​,Fi​,Bi​) 及其累积历史 $\mathcal{H}_i$Hi​ 来编写补丁。该运行引发一系列观察状态转换： $\pi_\theta(W_i, F_i, B_i, \mathcal{H}_i) \rightarrow (u_i, s_i, \mathcal{H}_{i+1}), \quad s_i \in \{\bot\} \cup \mathcal{C}(B_i)$πθ​(Wi​,Fi​,Bi​,Hi​)→(ui​,si​,Hi+1​),si​∈{⊥}∪C(Bi​) $W_{i+1} = \text{apply}(W_i, u_i), \qquad P_{i+1} = \Phi(W_{i+1})$Wi+1​=apply(Wi​,ui​),Pi+1​=Φ(Wi+1​) $(\Delta F_i, c_i) = S(B_i, P_{i+1}, s_i), \qquad B_{i+1} = B_i - c_i, \qquad F_{i+1} = F_i \cup \Delta F_i$(ΔFi​,ci​)=S(Bi​,Pi+1​,si​),Bi+1​=Bi​−ci​,Fi+1​=Fi​∪ΔFi​ 这里，$u_i$ui​ 是工作区补丁，$s_i$si​ 是提交命令。服务器操作符 $S$S 返回新反馈 $\Delta F_i$ΔFi​ 和消耗的回合计数 $c_i$ci​。运行结束后，服务器自动进行隐藏验证选择并执行留出评估。

为了理解 agent 如何探索策略实现空间，作者区分了结构合成和参数调优。结构合成创建任务机制，例如感知、记忆或规划，而参数调优在已有的控制器内调整增益和阈值。环境被划分为需要更丰富机制的合成主导组，以及简单控制器就足够的调优主导组。为了比较这些组之间的性能，每个环境的留出分数按每个环境的随机到最佳尺度进行归一化： $\text{norm}_{m,e} = \text{clip}\left(\frac{R_{m,e}^{\text{heldout}} - R_e^{\text{random}}}{R_e^{\text{best}} - R_e^{\text{random}}}\right)$normm,e​=clip(Rebest​−Rerandom​Rm,eheldout​−Rerandom​​)

作者还计算了事后诊断，追踪在消耗的回合预算上最佳隐藏验证分数的演化。这揭示了何时出现有用的候选策略，以及预算如何高效地转化为更好的策略。这些轨迹中的垂直跳跃对应于发现更高质量的候选策略，而平坦段表示没有任何改进的时期。

最后，环境层与 agent 协议分离。任何兼容 Gymnasium 的回合式环境都可以通过适配器包装，该适配器实现必要的接口，将观察和动作转换为紧凑的模式，并加载可重复的初始化划分。此设计确保当环境覆盖范围扩大时，交互、可见性、预算和工件语义保持不变。

实验

在 Core16 套件中，使用 128 回合预算和隐藏验证，实验通过自主策略代码编辑来评估模型与 harness 系统。GPT-5.5 实现了最可靠的覆盖，在所有 16 项任务中均排名前二，而 Claude Opus 4.7 在 MiniGrid 上领先，并且在合成主导任务上性能差距显著扩大，这些任务中成功的 agent 通过结构编辑而非单纯的参数调优发现了任务特定的控制机制。事后分数轨迹和编辑案例研究表明，高绩效运行往往在早期进行结构改进，并利用 rollout 反馈指导策略修订。

在所示出的八个 Gym/Box2D 和 MuJoCo 环境中，GPT-5.5 在五项任务上取得了最高的留出回报，并在其余三项上排名第二，展示了推动其 Core16 总得分最高分项的广泛覆盖。Claude Opus 4.7 在 ContinuousCar 和 Ant 中获胜，并在其他每项任务中排名第二，显示出强大但略逊一筹的可靠性。随机策略在所有环境中的得分要低得多，证实学习到的策略始终优于随机。GPT-5.5 在 Acrobot、BipedalWalker、CarRacing、Reacher 和 Pusher 上获得了最高的回报，其中 BipedalWalker 得分为 248.9，而下一最佳 agent（Claude Opus 4.7）为 -15.8。Claude Opus 4.7 在 ContinuousCar（98.8 对比 95.2）和 Ant（990.1 对比 989.6）上领先，并在其他六项任务中居次，而 MiniMax-M3 仅赢得 HalfCheetah，但在其他任务上回报低得多。

GPT-5.5 和 Claude Opus 4.7 在 MiniGrid 和机器人/驾驶任务上始终优于其他模型，而 MiniMax-M3 和 DeepSeek-V4-Pro 经常无法完成基本的导航目标。定性诊断显示，合成主导任务上的高回报运行以基于视觉 rollout 反馈的持续结构性代码编辑为特征，而调优主导任务在参数优化变得有用之前，需要一个可行的策略框架。GPT-5.5 和 Claude Opus 4.7 在 MiniGrid 的 DoorKey、KeyCorridor 和 ObstacleMaze 上几乎取得完美成功，而 MiniMax-M3 和 DeepSeek-V4-Pro 在这些任务中得分为零。在 FourRooms 任务中，Claude Opus 4.7 达到 0.701，GPT-5.5 0.664，MiniMax-M3 为 0.403，DeepSeek-V4-Pro 仅 0.079。在驾驶任务中，GPT-5.5 在 Parking、FetchPush 和 FetchPick 上获得最高回报，略高于 Claude Opus 4.7，而 DeepSeek-V4-Pro 仅在 Roundabout 上领先。GPT-5.5 是唯一在调优主导的 BipedalWalker 环境中实现正回报的 agent，达到了时间线最高分 271，而所有其他模型得分为负。在合成主导任务（如 CarRacing）中成功的 agent 倾向于根据视觉失败证据修订策略结构，相反，较差的运行则反复修改机制却未能摆脱错误的抽象。

GPT-5.5 在整体可靠性排名中领先，在每个环境中均位列前二，并在九项中排名第一，主导了四个任务族中的三个。Claude Opus 4.7 排名第二，这得益于其强大的 MiniGrid 表现和广泛的前二覆盖，而其他模型则取得孤立胜利但缺乏整体一致性。排行榜奖励在所有异质任务中持续保持接近顶尖的表现，而不是少数局部成功。GPT-5.5 在所有 16 个环境中均排名第一或第二，赢得了其中的九项，并主导了 Gym/Box2D、MuJoCo 和机器人/驾驶族。Claude Opus 4.7 排名第二，有五次第一和十二次前二，并获得最佳 MiniGrid 族分数。MiniMax-M3 赢得 HalfCheetah，但其较低的 Gym/Box2D 和 MiniGrid 分数将其总排名降至第三，说明弱势族会损害综合可靠性。DeepSeek-V4-Pro 在 Roundabout 上获胜，但仅有一次前二，总体 Core16 分数在测试 agent 中最低。均匀随机策略的得分几乎完全来自 MiniGrid 上的共享排名积分（全部 agent 在该项上得分均为零），这证实了该指标会惩罚弱覆盖。

针对合成主导任务所选出的策略，其结构复杂性显著高于调优主导任务，函数、分支、循环、AST 深度和持久状态的数量均更高。最强的 agent 在合成任务上产生最大的源代码包，但结构复杂性本身并不能保证优异表现。得分最高 agent 的合成任务策略包含的函数数量是得分最低 agent 的五倍以上，循环数量为四倍。分支是合成策略中最丰富的控制流特征，某个顶尖 agent 的平均分支数达到 77.0，而调优策略的分支数从未超过 9。调优主导策略始终紧凑，所有 agent 的平均函数数量均少于 9，分支数也少于 9，几乎不包含循环。

在合成主导任务上，Claude Opus 4.7 实现了最高的结构编辑成功率（48%），而 MiniMax-M3 则挣扎在 10%，并且几乎没有任何参数编辑。在调优主导任务上，GPT-5.5 从参数编辑中获益更多（61% 成功率），而其余模型的参数成功率与其结构成功率相当或更低。Claude Opus 4.7 在合成主导任务上对结构编辑的命中率达到 48%，是所有 agent 中最高的，并且在这些任务上没有任何参数编辑。在调优主导任务上，GPT-5.5 的参数编辑成功率为 61%，远高于其 38% 的结构编辑成功率，而 Claude Opus 4.7 和 MiniMax-M3 的参数成功率分别为 21% 和 25%。MiniMax-M3 在合成任务上的结构编辑成功率最低（10%），且没有参数编辑，表明其在发现成功的结构变更方面存在困难。

GPT-5.5 和 Claude Opus 4.7 在多样的连续控制和导航基准上领先，GPT-5.5 在所有 16 个环境中排名前二，并通过在需要基于视觉 rollout 反馈进行丰富结构代码变更的合成主导任务以及仅在调优主导的 BipedalWalker 中成功利用参数编辑，赢得了九项。Claude Opus 4.7 提供了次可靠的覆盖，主导了 MiniGrid，并在合成任务上实现了最高的结构编辑成功率，而较弱的 agent 如 MiniMax-M3 和 DeepSeek-V4-Pro 常常无法完成基本导航目标，也难以进行有效的结构修改。在合成任务上表现最好的策略在函数、分支和循环方面展现出明显更高的复杂性，但结构复杂性本身并不能保证成功；相反，依据失败证据迭代修订策略架构的能力才是区分强大 agent 的关键。