翁荔解析Harness工程:优化外部脚手架驱动智能体进化
近日,前OpenAI安全研究副总裁、Thinking Machines Lab联合创始人翁荔发布题为Harness Engineering for Self-Improvement的技术博客,深入探讨人工智能代理系统的核心工程层Harness技术。文章指出,相较于决定模型能力上限的Scaling Laws,Harness作为包裹于大模型之外的运行时环境,更像是一套决定智能体现实表现稳定性的操作系统。它通过封装复杂逻辑与持久化存储,有效规避长上下文混乱,使智能体能够持续执行跨周期任务。 翁荔系统梳理了Harness从手工设计向自我优化的演进路径。早期研究将上下文管理视为动态操作手册,而最新进展如MetaHarness与Darwinian Gödel Machine框架,已将Harness代码本身转化为可搜索空间。通过编码智能体的迭代生成与性能筛选,系统可在SWEbench等基准测试中达到与人工设计相当甚至更优的效果,初步验证了不修改模型权重即可实现循环自我提升的可行性。 尽管前景广阔,该路径仍面临客观瓶颈。当前优化高度依赖明确且快速的评估指标,在模糊判断场景下易引发奖励黑客行为。若开放系统代码修改权限,还可能突破安全边界。因此,翁荔强调人类工程师需转型为框架架构师,在环路外部设定编辑边界与审查节点。文章最终指出,通往递归自我提升的务实第一步并非直接调优模型参数,而是优先夯实外部工程层。未来研发需在短期任务表现与代码长期可维护性之间寻求平衡,警惕指标优化带来的系统性风险。
