一句话总结

OpenAI 发布了 GeneBench‑Pro，这是一个扩展的基准测试，包含 129 个跨基因组学、定量生物学和转化生物医学的多阶段科学问题，覆盖 10 个一级领域和 21 个终端子领域。这些任务迫使 AI agent 在多个依赖推理分支中导航——一个看似合理但却错误的选择足以改变下游分析。GPT‑5.6 Sol Pro 等模型的通过率达 $31.5\%$31.5%，但始终表现出在注意到局部诊断信号与据此采取行动之间的差距，常常选择错误的估计量，并坚持最初看似合理但实际不正确的分析路径，这凸显了长周期生物推理的不可靠性。

核心贡献

• GeneBench‑Pro 是一个包含 129 个多阶段科学分析问题的基准测试，涵盖基因组学、定量生物学和转化生物医学，其中 82 个问题经外部领域专家评审，以提升目标可识别性和难度。
• 对 60 余种模型配置的评估显示，GPT‑5.6 Sol 的通过率为 28.7%，GPT‑5.6 Sol Pro 为 31.5%，并且模型表现出一种差距：它们能检测到局部诊断信号，但无法将其传导至正确的分析决策。
• 该基准测试以分层方式发布：10 个公开问题，50 个留出问题用于由 Artificial Analysis 进行的第三方基准测试，以及一个内部保留集。

引言

近年来，AI agent 在软件工程和长周期任务中取得了快速进展，基因组学基准也开始从简单的知识测试转向更真实的生物工作流。然而，研究者日常进行的开放式、多阶段分析（其中任一步骤的错误选择都可能导致整个结论偏离正轨）在现有评估中仍大多未被检验。作者引入了 GeneBench‑Pro，一个经过大幅加固和扩展的基准测试，包含 129 个跨基因组学、定量生物学和转化生物医学的问题。每个问题都要求 agent 在最小指导下穿越多个相互依赖的决策点，反映了区分专家与新手推理的“注意‑行动”差距。通过分层公开发布并评估超过 60 种模型配置，GeneBench‑Pro 揭示出即使是最前沿的模型也难以可靠地闭合推理环路，从而为自动化科学发现这一新兴、高影响力的能力提供了精确的度量。

实验

GeneBench‑Pro 在一个无互联网的容器化 Linux 环境中评估前沿模型在长周期、多阶段基因组分析上的表现，采用严格的二值评分，要求在所有决策点上得出正确的最终答案。结果表明，现有模型能够检测数据异常并完成中间步骤，但它们持续无法完成可靠端到端性能所需的“注意‑行动”推理闭环，这一模式类似于科学问题解决中专家的与新手之间的差异。这一质性差距凸显出，尽管进展迅速，在规划、自我修正和不确定性感知控制等方面仍需取得重大能力进步，模型才能自动化那些目前需要专家科学家进行的分析，而这一目标对加速发现具有变革性潜力。

GeneBench‑Pro 强制施加设计约束，使科学终点可识别，同时保留现实中的模糊性。框架要求存在可恢复的真实答案、单一由经验约束支撑的可辩护答案，以及正确与错误解之间明确的数值差距，从而避免常见的失败模式，如不可恢复的参数、欠规范化和评分伪影。问题规范规则进一步确保提示定义了科学问题而不指定分析方法，并且质量控制阈值不引入任意评估结果。Agent 根据实际能从提供的数据中恢复的量进行评估，而非根据隐藏的数据生成参数，从而避免因采样变异而错误惩罚正确的分析。每个任务仅支持一个可辩护的答案，因为数据或提示中包含了合理排除替代方案的经验约束，避免了评估工作流偏好而非推理的情况。看似合理但错误的分析和快捷方法在消融套件中以明显差距失败，确保错误解不会被误判为正确。提示指明了科学问题和目标估计量，但不包含规范性指令，将重点放在开放式推理而非按食谱操作。质量控制要求使用阈值，使附近合理的值产生相同评分结果，因此基准测试衡量的是对定性问题的识别，而非对任意截断点的敏感性。

基准测试问题的外部审查揭示了多类问题，促使进行了修订以提高清晰度和科学严谨性。常见的调整包括细化欠规范化或模糊的提示，将评分与可辩护的替代方法对齐，更新真实答案以匹配可实现的数据，以及修复与所述任务不符的方法实现。对于存在可辩护替代方法的问题，例如混合祖先推断任务中后验加权的祖先分数在科学上是合理的，则更新为接受这些替代方案，而非要求一个硬性分类结果。一个遗传相关性基准测试被发现评分依据的是临时的 LD‑score 估计量而非真正的 LDSC，参考实现已更正以匹配其声称评估的方法。当原始提示下真实答案无法恢复时（如动态药物基因组治疗响应），基准测试被重新对齐，以使用数据生成过程的实现数据，并明确验证器目标和冗余规格。针对一个体细胞靶点激活问题的模糊提示（为不涉及结构变异的高拷贝数解读留下了空间），通过添加明确指明因果结构变异机制措辞澄清了面向求解者的材料。

GPT‑5.6 Sol 能持续识别并应对 GPT‑5.5 所忽略或以更简单、不恰当方法处理的细微数据复杂性。在药物基因组生存分析、细胞类型遗传力和肽 pQTL 任务中，GPT‑5.6 Sol 正确针对时间依赖性混杂、参考面板质量和剂量‑响应不一致做出了调整，从而做出更可靠的分析决策。对于药物基因组时间‑事件数据，GPT‑5.6 Sol 使用带稳定逆概率权重的边际结构 Cox 模型来处理治疗‑混杂反馈，而 GPT‑5.5 则应用了未考虑这种反馈的传统计数过程 Cox 模型。在选择 LD‑score 参考面板时，GPT‑5.6 Sol 应用了更严格的质量过滤，包括填充质量和卡方阈值，产生更精细的 SNP 集合，而 GPT‑5.5 仅根据基础过滤后的等位基因频率一致性选择面板。在桥校准 pQTL 分析中，GPT‑5.6 Sol 识别出具有不一致剂量‑响应斜率的肽并将其排除后再取平均值，而 GPT‑5.5 则直接将所有六种肽取平均，包括那些模式不一致的。

GeneBench‑Pro 框架强制实施设计约束，确保每个任务具有单一可辩护的真实答案，并且评分隔离科学推理而非工作流习惯，失败模式的设计旨在清晰区分正确与错误的解。外部审查和修订周期细化了基准提示和验证器逻辑以消除歧义，并确认现实世界的复杂性不会损害评分可靠性。对比测试显示，GPT‑5.6 Sol 持续应用更恰当的统计校正和质量过滤来处理细微的数据混淆，而 GPT‑5.5 则默认采用更简单的方法，这证明该基准具备检测分析推理中有意义差异的能力。