一句话总结

PhAI Labs、The Chinese University of Hong Kong、University of Michigan 等机构提出 DiscoveryRSI。DiscoveryRSI 通过 multi-agent 演化搜索构建基于证据的假设树，将调查编译为可执行的 Harbor tasks，并通过假设信用优化、harness 重放和再发现改进工作流，从而对 research agents 进行递归改进。在两个轮次后，它在四个生命科学领域将 DFM-Bench 上的假设质量从 $4.86$4.86 提升到 $5.39$5.39。

核心贡献

• 论文提出 DiscoveryRSI，将高价值研究假设定义为以证据为依据、针对重大不确定性的声明，并搭配可行调查、明确决策标准和替代解释。该框架通过 multi-agent 演化搜索发展假设树，将选定调查编译为可执行的 Harbor tasks，并通过假设信用优化、harness 重放和再发现进行递归学习。

• 论文还提出 DFM-Bench，用于在单个假设、修订、发展路径和完整研究运行等层面评估假设质量和累积研究进展。

• 在四个生命科学领域，自动评估显示 DiscoveryRSI 将基础模型的假设质量从 4.86 提升到两轮自我改进后的 5.39，并在可证伪性和数据可解决性方面获得提升。DiscoveryRSI-27B 的 cutoff 后假设对应率为 6.3%，相比之下 GPT-6 为 2.5%，Claude Opus 5 为 2.3%；其假设重要性获得的专家评分也高于 GPT-6 Luna。

引言

作者关注能够生成假设、规划调查并执行计算实验的 AI research agents。这一点很重要，因为科学发现依赖于将提出的解释转化为可检验研究，并利用这些经验设计更好的未来研究。先前系统能够提出和评估假设，但它们通常把最终提案作为学习目标，导致哪些修订、证据或 agent 行动真正改善了研究工作变得不清楚，并且它们难以把不断演化的假设变得足够具体以执行。作者提出 DiscoveryRSI，该框架构建由可检验假设组成的研究树，将选定调查编译为可执行的 Harbor tasks，保留完整发展历史，并通过假设信用优化、harness 重放和再发现，从有记录的贡献中递归学习。作者还提出 DFM-Bench，用于衡量假设质量、修订价值和累积研究进展。

数据集

• 所给文本描述的是评估数据，而非常规训练语料。作者使用 DFM-Bench 明确科学研究评估对象，包括生成的假设、修订、发展路径、研究运行和贡献家族。这使得在现有科学基准之外，还可以评估证据使用、实验以及研究过程完整性。

• 启发分析使用按模型分组的生成假设版本。报告的组大小为 DeepSeek 257 个、GLM 36 个、GPT 2,341 个、Claude 131 个。来自两次生产运行的汇总 DiscoveryRSI 集合包含 1,176 个假设版本，作者还报告按领域划分的启发率，包括治疗靶点、人群多组学、疾病机制以及临床与人群健康。

• 文献引用语料库由 420 次前向与后向引用遍历构建。这产生 17,790 条引用边和 16,440 篇已解析出版物。作者使用每个模型组记录的 cutoff 过滤已解析引用，因此只有后续文献才能符合启发匹配条件。

• 过滤规则很严格。只有当 cutoff 后的出版物为开发或检验生成假设提供了实验设计、对照、测量或可检验的证据缺口时，才会计入。随后，作者对符合条件的假设版本赋予自动正面判断，并将启发率计算为获得正面判断的生成版本比例。

• 截断是处理流程的一部分。检索使用提案的前 6,000 个字符，语义审计只读取前 2,500 个字符。当提案包含大量出处或修订注释时，这会使科学内容离开被评估文本。作者用一个诊断展示这种敏感性：按提案标题查询时，Claude 检索到的提案数量从 15 增加到 95。

• 这些数据用于评估和诊断分析，而非所报告的模型训练。在所给摘录中，没有描述这些数据集的训练划分、混合比例或训练用途。其作用是支持假设生成比较、文献引用分析、启发率测量，以及审计检索覆盖度和提案格式如何影响测量结果。

方法

作者提出面向 hypothesis driven research agents 的高价值且可检验研究假设联合操作定义。研究假设表示为 $\mathcal{H} = (c, \pi, d, a)$H=(c,π,d,a)，其中 $c$c 是基于证据的声明，$\pi$π 是调查计划，$d$d 指定决策标准，$a$a 识别相关替代解释。如果解决其不确定性能够增加当前理解，则视为高价值；如果计划在给定约束下可行，并且其结果能够支持或削弱声明，则视为可检验。

如下图所示，该定义通过一个具体提案进行了实例化。

图中展示了一个 MIMIC IV 提案，研究反复出现的肌酐与尿量不匹配是否为 ICU 出院后不良结局提供额外信息。调查计划定义了时间线、基线模型和比较方式，而决策标准和替代解释则明确限定了声明及结果可解释性的边界。

为了将假设发展变成递归学习过程，作者提出 DiscoveryRSI。该框架通过 multi-agent 演化搜索发展可检验假设的研究树，并保留每个提案背后的证据和决策。

如下图所示，该框架将 multi-agent 假设发展与递归自我改进结合起来。

在假设发展阶段，Lead agent 指挥 Generation agents 和 Evolution agents 创建或修订假设。这些版本由 Critique agents 和 Progress agents 评估。选定假设会被编译为可执行的 Harbor tasks，其中包括具体输入、环境、所需输出和验证检查，从而保留原始提案的科学承诺。

保留的研究历史支持三个耦合的递归改进机制。第一，假设信用优化将研究质量评估与有记录的贡献联系起来。Blinded Critique 提供偏好，随后使用 TrueSkill 汇总这些偏好，以估计相对偏好强度 $z_h$zh​ 和不确定性。偏好概率建模为：

$$P(a \succ b \mid z_a, z_b) = \Phi \left( \frac{z_a - z_b - \varepsilon}{\sqrt{2} \beta} \right)$$P(a≻b∣za​,zb​)=Φ(2​βza​−zb​−ε​)

评估覆盖度、不确定性、有效性和进展决定有界假设权重 $w_i = \min(W_{\max}, \sum_h b_{ih})$wi​=min(Wmax​,∑h​bih​)，其中 $b_{ih}$bih​ 是在贡献者共享和重复抑制之后，来自假设 $h$h 的分配。这种信用控制某条历史对训练的贡献强度。作者使用加权损失函数训练 DiscoveryRSI 27B：

$$\mathcal{L}(\theta) = - \sum_i \frac{\omega_i}{|U_i|} \sum_{u \in U_i} \log \pi_\theta(a_{iu} \mid x_{iu})$$L(θ)=−i∑​∣Ui​∣ωi​​u∈Ui​∑​logπθ​(aiu​∣xiu​)

其中 $U_i$Ui​ 包含符合条件的 assistant token 位置，$x_{iu}$xiu​ 是记录的上下文，$\omega_i$ωi​ 将贡献者信用与领域平衡结合起来。

第二，harness 重放在固定模型权重的情况下改进研究工作流。通过结合 agent 贡献、决策记录和执行日志进行分析，系统识别反复出现的失败，例如重复探索或产物丢失。候选 harness 编辑会被提出，并通过快速运行和匹配的开发评估来确定是否接受。

最后，再发现将已接受的模型和 harness 更新应用于新的调查。接受流程会分别并联合评估符合条件的更新，允许模型、harness、二者同时或二者都不变。被接受的系统随后返回新的问题，收集新的假设和证据，从而完成递归学习循环。

实验

实验使用 DFM-Bench 在单个假设、修订、发展路径、完整运行和科学贡献层面评估生成的研究，并在生物医学和电池领域结合自动质量判断、专家人工审查和基于文献的启发检查。在迭代研究轮次中，假设质量主要通过更高的可检验性、更清晰的证据要求和更规范的修订行为提升；与此同时，模型越来越多地演化已有假设，而不是重新开始它们。专家评审者认可修订带来的更有利进展，尽管绝对提案质量仍然参差，启发发现也偏描述性，表明科学价值有前景但不均衡。

该比较评估了选定的科学发现基准如何显式评估科学产出和研究过程。现有基准提供互补但更窄的覆盖；其中 OEB 显式评估证据使用和修订，并部分覆盖发展路径和整次运行分配，而 DFM-Bench 被描述为覆盖所有列出的科学和研究过程维度。该比较通过显式评估对象定义覆盖，而不是仅记录中间动作。DFM-Bench 被描述为显式评估假设优劣、贡献成熟度、证据使用、修订、发展路径和整次运行分配。在其他列出的基准中，OEB 提供最强的研究过程覆盖，而 AgentIdeaBench 提供对先验假设优劣最清晰的评估。该比较区分显式覆盖与部分或相关覆盖，并强调只有作为评估对象的中间动作才能计入。

该实验通过评估哪些科学发现基准显式评估科学产出和研究过程维度来比较它们，这些维度包括假设优劣、证据使用、修订、发展路径和整次运行分配。结果显示，DFM-Bench 提供最广泛的显式覆盖；在其他基准中，OEB 提供最强的研究过程评估，而 AgentIdeaBench 对先验假设优劣的评估最清晰。该比较强调，只有被视为显式评估对象的维度才应计入，而不是仅仅被记录的中间动作。