一句话总结

字节跳动 Seed 的研究人员推出了 EdgeBench，一个包含 134 个真实世界任务的基准测试套件，这些任务具有至少 12 小时的超长时间跨度，涵盖科学发现、软件工程、组合优化、专业知识工作、形式化数学和交互式游戏等领域。据作者所知，首次报告了 agent 学习性能遵循对数 S 型（log-sigmoid）缩放定律的证据，且拟合精度极高（$R^{2}=0.998$R2=0.998），同时学习速度大约每三个月翻一番。

核心贡献

• EdgeBench 是一个包含 134 个多样化真实世界任务的基准测试，涵盖科学发现、软件工程、组合优化、专业知识工作、形式化数学和交互式游戏。每个任务支持至少 12 小时的连续 agent 操作，并带有丰富的多层次反馈，其中 51 个任务连同评估框架已公开发布。
• 分析约 38,000 小时的 agent 交互后，首次揭示了在环境学习过程中整体性能遵循对数 S 型缩放定律（R² = 0.998），这一关系在不同任务族中均成立，并能够根据早期轨迹预测后续表现。
• 在最近几代前沿模型中，agent 学习速度大约每三个月翻一番。

引言

作者引入了 EdgeBench，一个包含 134 个多样化日级任务的基准测试，涵盖科学研究、软件工程等领域，每个任务提供多级反馈以模拟真实世界的试错工作流程。之前的基准测试难以衡量学习，因为它们提供的时间跨度短且仅包含最终状态指标，而测试时缩放研究尚未考察跨领域的来自环境交互的学习。通过分析约 38,000 小时的 agent 与环境交互，作者揭示了一个对数 S 型缩放定律，将总体性能与经过的交互时间相关联（R² = 0.998），并提出了基于潜在任务图上前沿扩展的理论推导，表明 agent 学习速度大约每三个月翻一番。

数据集

EdgeBench 的作者们整理了一个包含 134 个真实世界任务的数据集，分为六个能力族。每个任务都经过挑选，当前 agent 无法解决，并支持持续的迭代工作流程而非一次性完成。主要依赖视觉理解的任务（如 GUI 操作）被排除，以分离推理和学习能力。

数据集组成

• 科学问题与机器学习（39 个任务） 使用真实的研究数据和来自科研工作者的实验设置。Agent 必须提出假设、选择模型、根据带噪声的观测进行验证，并迭代改进。许多问题是开放式的，没有已知的最优解。

• 系统与软件工程（36 个任务） 生产级代码库，变更跨越数千行（最多超过 10 万行）。Agent 需要在满足正确性和性能目标的同时，推理跨模块耦合。

• 组合优化（19 个任务） 开放式、大多为 NP 难问题，精确方法难以处理。进展依赖于设计、调整和迭代启发式搜索策略。

• 专业知识工作（19 个任务） 涵盖金融、教育、医疗和法律领域的真实白领工作成果。这些任务的工作量相当于一名具有 3 年以上经验的人类专业人员大约三个整天的工作量。许多任务包含多轮评审标准，模拟客户反馈，使 agent 能够从结构化批评中学习并迭代修改。

• 形式化数学与定理证明（13 个任务） 前沿数学问题，需要在 Lean 中进行大规模机器验证的证明。Agent 接收结构化的中间指导，并能够逐步扩展部分证明。大多数任务是为 EdgeBench 新创建的。

• 交互式游戏与模拟器（8 个任务） 为人类玩家设计的真实游戏，通常需要数十小时才能掌握。巨大的状态空间和程序生成带来了强烈的分布外压力。Agent 必须通过大量的高频交互回合来制定和完善策略。

数据使用方式

论文使用全部 134 个任务作为基准测试，评估 agent 的迭代推理和持续学习能力。未提及训练划分；这些任务仅用于评估，重点在于衡量通过重复交互（由上述任务特定的反馈循环引导）取得的进展。

方法

作者设计了一个全面的评估框架，用于衡量自主 agent 在陌生真实环境中从经验中学习的能力。为了捕捉探索、策略修正等学习行为的涌现，该框架使用了 134 个多样化任务，涵盖六个能力族，每个任务被设计为日级挑战。实验流程对五个前沿模型在这些任务上进行评估。对于每个任务-模型对，作者执行三次独立的 12 小时试验，并记录完整的提交轨迹，从而能够详细分析在长时间跨度下的环境交互。

如下图所示，不同模型和领域的各任务学习曲线呈现出高度异质的动态。

这些轨迹从平滑的渐进式提升，到漫长的平台期、突然的突破以及不规则的倒退，各不相同。尽管存在个体异质性，跨任务的平均曲线却揭示出意料之外的平滑且共同的结构。为了对这种聚合行为进行建模，作者使用三参数对数 S 型模型对平均环境学习曲线进行拟合：

$S(t) = \frac{S_{\max}}{1 + (t_{\mathrm{mid}} / t)^\beta}$S(t)=1+(tmid​/t)βSmax​​

其中 $t$t 表示已用交互时间，$S(t)$S(t) 表示迄今为止的最佳性能。在这个公式中，$S_{\max}$Smax​ 是可达到的分数上限，$t_{\mathrm{mid}}$tmid​ 表示曲线达到该上限一半时的交互时间，$\beta$β 控制着在对数时间中进展集中度的锐度。$t_{\mathrm{mid}}$tmid​ 越小，意味着模型越早达到其可达到分数的主要部分，而 $\beta$β 越大，则对应于更陡峭的学习过渡。

为解释这一对数 S 型定律的理论基础，作者提出一个模型，将环境学习视为在底层任务图上的前沿扩展过程。每个任务由一个潜在的分数单元图表示。边权重衡量一个已解锁的源单元对解锁目标单元有多大帮助。未解锁单元受到来自其已解锁邻居的影响场，并以与该场成正比的期望速率随机解锁。因此，期望的分数增长速率恰好是从已解锁单元到未解锁单元的加权前沿切割。在平均场近似下，宏观的解锁-未解锁切割采用乘积测度影响，导出一个微分方程，其中分数增长速率与 $x(1 - x)$x(1−x) 成正比。这里，已解锁的分数质量提供了可复用的能力，而未解锁的分数质量则衡量了剩余的改进空间。此外，有效时间坐标是对数的，因为自相似的图结构意味着遍历图所需的搜索量随难度尺度指数增长。将对数时间坐标代入前沿方程并求解，恰好得到对数 S 型的函数形式，表明从环境中学习和从预训练数据中学习会引出相同的数学缩放形式。

实验

EdgeBench 的双循环协议将 agent 的本地工作区与隐藏评判的评估隔离开来，通过迭代提交来衡量学习。在 134 个任务和五个前沿模型上，环境学习遵循精确的对数 S 型缩放定律，agent 学习速度大约每三个月翻一番。Agent 从累积经验中获得的收益超越了重复采样，更长的上下文窗口提供了稳定的优势，同时学习轨迹揭示了结构化的诊断-编辑-评估循环，通过稀疏但累积的突破推动改进。

所有三参数 S 曲线族对 agent 全窗口学习轨迹的拟合误差显著低于双参数对数线性基线，证实性能提升遵循饱和的 S 形模式，而非简单的对数趋势。对数 S 型产生最小的 RMSE，但四条 S 曲线之间的差异仅为 0.014 点，表明没有一种特定的 S 形函数是唯一必要的。三参数 S 曲线（对数 S 型、对数概率单位、对数 Gompertz、Weibull CDF）的 RMSE 在 0.390 到 0.404 之间，而对数线性基线达到 0.717，拟合效果明显更差。对数 S 型误差最小，但 S 曲线族之间极窄的分布表明，学习轨迹总体上是 S 形的，没有强烈偏好某一种特定函数形式。

Opus 4.8 在所有时间预算下均位居排行榜首位，达到了最高的 12 小时总得分，并在所有类别中均优于所有其他模型。提交效率分析表明，更好的最终性能并不仅仅取决于更频繁的有效提交；GPT-5.4 的有效提交率最高，但最终排名第三，而 Opus 4.8 的提交频率低于 GPT-5.5，却仍取得了最佳结果。详细的 agent 轨迹显示，结构化的反馈驱动循环——使问题可衡量、分解失败、聚焦于主要瓶颈、并在修复残余错误时保持稳定的核心——可以将许多失败的尝试转化为少数几次高影响力的改进。Opus 4.8 在每个时间预算下都保持了最高的总体得分，并在 12 小时的六个类别中均领先，GPT-5.5 是各方面最接近的竞争对手。GPT-5.4 的有效提交率最高，但仍落后于前两名模型，这表明深思熟虑的高质量改进比纯粹的提交数量更重要。

随着时间预算的增加，具有累积经验的 agent 越来越优于无经验的基线，这种差距在 6 小时和 12 小时时尤为显著。底层的运行经历了不同的阶段：使任务可衡量、分解失败、专注主要瓶颈，最后在保留核心解决方案的同时修复残余错误，从而产生不均衡但累积的改进。经验带来的性能提升在 2 小时时微乎其微，但在 12 小时后变得显著，表明优势随时间的累积而复利。改进遵循结构化的诊断-编辑-评估循环，其中 agent 首先使问题可评分，然后隔离子问题，瞄准主要瓶颈，随后在不破坏工作流程的情况下修补剩余错误。

一个拥有 12 小时预算和定期自动评估的 agent，通过稀疏但结构化的诊断、编辑、评估循环，将其分数从 42.8 提升至 67.0。该 agent 首先使任务可衡量，然后分解失败，缩小到主要瓶颈，最后在保持有效核心解决方案的同时修复残余错误。在 224 次 agent 提交中，仅有 27 次改进了迄今为止的最佳分数，表明大多数动作是探索性探测，而非直接进展。Agent 的改进并不平滑，而是以不均匀的跳跃形式出现，对应于不同的行为阶段：使问题可评分、定位信号、改进源动态、修复剩余波形误差。最大的性能提升来自识别出速度/分离瓶颈，并持续围绕源质量校准进行搜索，在 4 到 5 小时的时间窗口内将源动态从 64.2 提升至 89.0。在找到稳定解决方案后，agent 保留了核心模型，仅尝试进行有针对性的残余修正，将 H1 波形组件分数从大约 47 提升至 95。

Agent 学习轨迹总体上遵循 S 形模式，三参数 S 曲线拟合显著优于对数线性基线。高绩效的 agent 依赖于结构化的、由反馈驱动的循环，使问题可衡量、分解失败、瞄准主要瓶颈并修复残余错误，而非依赖频繁提交。累积的经验随时间复利，因为深思熟虑的诊断-编辑-评估循环将探索性探测转化为不均衡但影响深远的改进。