一句话总结

腾讯 HY LLM Frontier、马里兰大学帕克分校及合作者提出 Long-Horizon-Terminal-Bench，这是一个包含 46 个长程终端任务的基准测试，通过细粒度子任务分解实现基于密集奖励的评分，用以评估 agent 的规划、长上下文管理和调试能力，即使最强的模型在部分奖励阈值 $0.95$0.95 下也仅达到 $15.2\%$15.2% 的 $\text{pass}@1$pass@1。

核心贡献

• Long-Horizon-Terminal-Bench 引入了 46 个容器化终端任务，横跨九个领域，每个任务都被分解为细粒度子任务，并配有确定性的、基于环境的评分器，以提供密集的部分得分信号。
• 在统一的 terminus-2 agent 框架下对 15 个前沿模型进行评估，结果显示任务平均需要 231 个 episode、9.9M tokens 和每次运行 85.3 分钟；最强的模型 GPT-5.5 在 0.95 部分奖励阈值下仅达到 15.2% 的 pass@1，模型平均值为 4.3%。
• 失败模式分析表明，可靠的长程完成能力（包括超时和弱自我验证）是主要瓶颈，甚于局部推理能力，凸显了需要更好的规划、记忆和校准的停止决策。

引言

作者提出 Long-Horizon-Terminal-Bench，一个包含 46 个容器化终端任务的基准测试，涵盖九个领域，目标在于评估 AI agent 在需要执行数百步、维持计划并从错误中恢复的长程工作流中的表现，这些工作流持续数十分钟。诸如复现研究成果或调试编译器工具链等现实任务，需要持续、连贯的进展，但现有基准测试侧重于短任务，且只对最终结果评分，产生稀疏奖励，无法显示 agent 在何处失败。关键贡献是一个基于密集子任务的评分系统，该系统为中间里程碑提供部分得分，揭示了即使是最强的前沿 agent（GPT-5.5）也仅达到 15.2% 的成功率，并且典型失败源于无法维持长时间执行、验证完成状况以及在预算内完成，而非局部错误。

数据集

作者引入 Long-Horizon-Terminal-Bench，一个包含 46 个长程终端任务的基准测试，旨在评估自主 agent 在扩展的多步骤工作流中的表现。该数据集构建为一组容器化环境，每个环境都呈现一个故意破坏的真实世界项目，agent 必须仅通过命令行来诊断和修复。

数据集构成和使用的关键方面：

• 任务组成和来源：46 个任务横跨 21 个广泛类别（交互式游戏、多模态审计、软件工程、机器人、气候科学、芯片设计等），没有单一类别占主导地位。它们来源于现实的专业工作流——材料相图审计、SLAM 流程修复、气候极端事件检测、音视频对齐等。部分改编自 APEX-Agents 等先前的基准测试，其余是为此数据集新创建的。

• 任务结构：每个任务遵循 Harbor 格式，并提供：

  • 一条自然语言指令（agent 看到的唯一规范）。
  • 一个包含所有代码、数据、工具和辅助脚本的 Docker 镜像。
  • 一个任务配置文件。
  • 一个隐藏的验证器，带有用于评分的 oracle 实现。

• 评分和处理细节：

  • 任务被分解为少量语义上有意义的子任务，每个子任务有自己的检查项，通过子任务完成率实现部分得分评分。
  • 公开检查是轻量级的：它们仅验证命令行行为、文件格式和少数简单示例，贡献少量奖励权重以抑制过拟合。
  • 大部分奖励来自隐藏的强度测试，这些测试动态生成更难的输入和模式变体（嵌套清单、gzip 加 base64 封装、重命名字段、缺失值、注入噪声、旋转图像、异常帧、替代坐标约定）。黄金解决方案必须在完整的隐藏评估套件上达到满分。
  • 构建过程包括公开的资产生成脚本、一个弱基线、一个多步骤 solve.sh 和隐藏验证器。难度通过让 Deepseek-V4-Pro 在 1.5 小时时间预算下运行，迭代优化任务，并将 120 个候选任务筛选至最终的 46 个来校准。

• 数据使用方式：Agent 以交互、逐步的方式进行评估。容器启动后，agent 发出 shell 命令、编辑文件、运行脚本并检查中间输出，可能持续数百步。没有训练集划分；该基准测试纯粹用于评估，agent 的长程性能通过其在所有任务上的子任务完成率来衡量。

方法

作者将 Long-Horizon-Terminal-Bench 设计为一个容器化的评估框架，其中每个任务被表述为一个自包含的终端环境。每个任务提供一个 Docker 镜像，打包了所有代码、数据、工具和辅助脚本，以及一条描述复杂多阶段目标的自然语言指令。Agent 完全通过命令行与环境交互，发出 shell 命令、编辑文件、运行脚本并检查中间输出，持续数百步。这种设置确保解决任务需要持续的推理、调试和逐步改进，而非单次正确的调用。

为捕捉长程进展，该基准测试用基于子任务的评分方案取代了二元通过/失败指标。每个任务被分解为少量语义上有意义的子任务 $s_1, \dots, s_K$s1​,…,sK​，并带有相应的归一化分数 $r_k \in [0,1]$rk​∈[0,1]。总体任务奖励计算为加权平均：

$R = \frac{\sum_{k=1}^{K} w_k r_k}{\sum_{k=1}^{K} w_k}$R=∑k=1K​wk​∑k=1K​wk​rk​​

其中权重 $w_k$wk​ 为非负值（默认相等，必要时最终目标获得更高权重）。这种设计提供了密集的部分得分，揭示 agent 在工作流程中取得多少进展，即使未达到最终解决方案。

子任务根据最终容器状态中的客观证据进行评估，分为三类：

• 二元子任务使用严格的布尔检查（例如，单元测试通过、服务在某个端口上响应），并产生 $r_k \in \{0,1\}$rk​∈{0,1}。
• 连续或有阈值子任务处理量化目标。例如，指标复现的分数在容差范围内为 1.0，并随着误差增大线性降至 0，为接近成功提供有意义的部分得分。
• episode 聚合子任务适用于战役式任务（游戏、重复审计），衡量内部成功条件在 episode 或关卡中达成的比例，测试多次试验中的可靠性。

当 $R \ge \tau$R≥τ 时，任务被视为已解决，并报告跨任务的平均 $R$R 以捕捉在未完全解决的问题上的进展。

数据集构建流程将这一框架实例化到多样化的真实世界专业工作流中——材料审计、机器人 SLAM 修复、气候检测、科学图表重建等。对于每个问题，作者构建了一个完整但故意破坏的纯终端项目。Agent 必须完全通过终端来检查代码、运行命令并分析多模态工件，然后诊断并修复核心流程。每个任务都包含一个弱基线、一个隐藏的黄金解决方案和一个多步骤的解决脚本。

为抑制过拟合，公开检查仅限于命令行行为和少数简单示例，贡献较低的奖励权重。大部分奖励通过隐藏的强度测试来分配，这些测试动态生成更难的输入和模式变体——嵌套清单、gzip 加 base64 封装、重命名字段、缺失值、注入噪声、旋转图像和替代坐标约定。这迫使 agent 实现健壮的解析和核心算法，使其能泛化到可见示例之外。黄金解决方案必须在完整的隐藏套件上达到验证器分数 1.0。

难度校准是通过在 1.5 小时的时间预算下迭代运行一个强大的 agent（Deepseek-V4-Pro）并调整任务，直到它们保持挑战性但原则上可解来完成的。从最初的 120 个候选任务池中，最终的基准测试包含 46 个采用 Harbor 格式的容器化任务，共享一个通用的 agent 框架。

实验

评估使用 Harbor 框架，配合 Terminus-2 agent 框架（以及用于 GPT-5.3 的 Codex2），在 46 个长程终端任务上对 15 个前沿模型进行基准测试，测量通过率、密集归一化奖励和成本。最佳模型 GPT-5.5 仅解决 15.2% 的任务，而密集的子任务级评分被证明对于区分模型至关重要，因为二元通过/失败指标会压缩排名并隐藏接近完成的近似失误。失败主要由超时而非局部执行错误导致，许多 agent 表现出虚假完成，即尽管奖励很高却过早停止，表明弱自我验证和时间预算管理是核心瓶颈。成本分析显示，更高的推理支出本身并不能保证更好的长程性能。

长程任务成本估算差异很大，从大约 $2.50 到$2.50到28 每任务不等。最昂贵的模型 GPT-5.4 表现不如较便宜的对应模型，因为它使用了更多 episode，而几个低成本模型定义了帕累托前沿，表明高通过率可以无需高支出实现。GPT-5.4 是最昂贵的模型（约 $28 每任务），但通过率低于 GPT-5.5（约$28每任务），但通过率低于GPT−5.5（约21 每任务），原因是尽管每个 token 定价相当，但平均每个任务 302 个 episode 对比 208 个。Hy3、Doubao Seed 2.1 Pro 和 MiniMax M3 构成了低成本帕累托前沿，分别约为 $2.50、$2.50、5 和 $6 每任务，证明高效的长程性能可以以顶级模型成本的零头实现。

长程任务成本从大约 $2.50 到$2.50到28 每任务不等，最昂贵的模型 GPT-5.4 表现不如较便宜的 GPT-5.5，因为尽管每个 token 定价相当，但它需要更多的 episode。低成本模型 Hy3、Doubao Seed 2.1 Pro 和 MiniMax M3 定义了帕累托前沿，分别约为 $2.50、$2.50、5 和 $6 每任务，证明高通过率可以高效实现，无需大量支出。