一句话总结

艾伦人工智能研究所和华盛顿大学的研究人员发现，在匹配反馈和推理预算的条件下，针对LLM agent的自动harness进化在Terminal-Bench 2.1上使用GPT-5.4和Claude Opus 4.6时，并未始终优于简单的测试时扩展方法，且对保留任务的泛化能力有限，这要求建立更公平的评估协议。

核心贡献

• 在匹配反馈和推理预算的条件下，对自动harness进化与测试时扩展基线的受控比较表明，在Terminal-Bench 2.1上使用GPT-5.4和Claude Opus 4.6时，进化方法并未始终优于更简单的扩展方法。
• 在相同基准的保留任务上评估进化后的harness，显示出有限的泛化能力，对发现的改进的实际效用提出了质疑。
• 本研究指出了一个有缺陷的评估协议，即搜索和最终评估共享同一基准，存在过拟合风险，并倡导为自动harness设计建立更公平的评估协议和基准。

引言

大型语言模型（LLM）agent依赖外部harness（提示、工具、记忆、验证和控制逻辑）与复杂环境交互，先前研究表明，即使底层模型固定，harness设计也会显著影响agent性能。然而，harness工程目前仍主要依赖人工，这促使了自动harness进化方法的发展，这些方法利用基准反馈搜索harness配置。现有对这些方法的评估存在两个关键局限：通常使用相同的公开基准进行搜索和最终测量，存在过拟合风险；并且缺乏与测试时扩展基线的比较，后者将额外的计算直接分配给评估任务。作者重新审视了自动harness进化的评估，在匹配反馈和推理计算的受控预算下，将其与并行采样和顺序细化进行比较。研究结果表明，harness进化并未始终优于简单的测试时扩展，而在重叠任务上观察到的收益可能反映的是对特定实例的适应，而非可泛化的harness改进，这凸显了建立更严格评估协议的必要性。

实验

实验在Terminal-Bench上使用三个前沿模型，在有单元测试反馈和无单元测试反馈的设置下，以及在保留任务划分上，比较了自动harness进化与测试时扩展方法（并行采样、顺序细化、harness扩展）。Harness进化并未始终优于更简单的测试时发现方法；其收益主要来自多次尝试，而非真正改进的harness设计，并且无法泛化到未见过的任务，而是过拟合于任务特定的捷径。定性分析表明，虽然元agent能产生合理的编辑，但这些编辑很少能将困难失败转化为成功，这表明harness进化可能仅在任务既困难又强烈依赖于harness时才有益。

当单元测试不可用时，通过并行采样进行的测试时扩展能提供稳定的增益，而自动harness进化表现不如基线，并可能损害更强的模型。仅靠自生成的反馈噪声过大，无法可靠地指导harness修订，因此在该设置下，并行采样是更安全且更有效的策略。并行采样在所有三个模型上均提升了平均pass@1，并取得了最高的总体平均值，而harness进化则低于直接采样基线。Harness进化导致GPT-5.4的分数急剧下降超过5个百分点，表明在缺乏正确性信号时，迭代自修订会降低性能。

当单元测试可用时，测试时扩展方法显著优于直接采样和自动harness进化。并行采样和顺序细化均取得了大幅增益，其中顺序细化达到了最高的pass@5分数。Harness进化仅比基线有适度提升，且远低于测试时扩展方法。并行采样提供了最高的pass@1性能，将平均分数从72.9提升至86.0，且其pass@5准确率与之持平。顺序细化取得了最佳的pass@5结果，在GPT-5.4上达到93.3，远超harness进化的最佳pass@5分数89.3。

当harness在一组训练任务上进化，并在未见过的保留任务上评估时，相比初始harness几乎没有提供任何收益。进化后的harness在一个模型上有微小提升，在另一个模型上则没有，平均提升不到1分，这表明该过程过拟合了训练数据，无法泛化。所发现的修改似乎是任务特定的捷径，而非可复用的设计原则。在保留任务上，Harness进化仅将Claude Opus 4.6提升了1.2分，而GPT-5.4保持不变，平均增益为0.6分。近乎为零的迁移性能表明，算法过拟合了训练任务，记忆了修复方法，而非学习通用的脚手架策略。

评估首先在没有单元测试的情况下，然后在有单元测试的情况下，最后在保留任务上，将测试时扩展方法（并行采样和顺序细化）与自动harness进化进行了比较。在两种设置下，测试时扩展均能可靠地提升性能，而harness进化在没有测试时有害，在有测试时仅提供适度增益，并且由于过拟合而无法泛化到未见过的任务。