一句话总结

上海交通大学、卡内基梅隆大学等机构的研究团队提出了 IdeaGene-Bench (IG-Bench)，一个采用带类型的 Idea Genome 对象和 GenomeDiff 记录来评估科学谱系推理和基于谱系的创意生成的基准，发现即使最强的基于 LLM 的科学家也仅达到 $27.3\%$27.3% 的精确准确率，并且结构化谱系上下文重新排列了系统排名。

核心贡献

• IdeaGene 框架将科学工作表示为带类型的 Idea Genome 对象，并使用 GenomeDiff 记录来捕获六种演化动力学下的继承、突变、丢失、外部导入和新颖插入。
• IG-Bench 包含 1,961 条黄金谱系轨迹、1,085 个经过整理的 Idea Genome 对象和 920 条成对 GenomeDiff 记录，涵盖 10 个领域，并支持 IG-Exam（42 种任务类型，用于封闭式谱系推理）和 IG-Arena（一种基于谱系条件的群体演化评分，用于创意生成）。
• 在 14 个基于 LLM 的系统上的实验显示了一个组合瓶颈，最强模型在谱系推理上的精确准确率为 27.3%，并且结构化谱系上下文重新排列了系统排名，而非均匀提升性能。

引言

基于 LLM 的自动研究系统通常通过检索质量、事实性、写作流畅性或工作流能力来评估，但这些指标忽略了一个关键问题：当一个提案声称要扩展某个研究方向时，它是否正确地继承了父机制，修复了所述的限制，并与它所基于的谱系保持一致？先前的工作将科学进步视为主题邻近性，因此共享任务但机制不同的论文可能被混淆，而生成的创意可能听起来新颖却没有继承核心机制。作者通过 IdeaGene 框架来解决这一差距，该框架将论文表示为带类型的 Idea Genome 对象，并使用 GenomeDiff 记录来追踪继承、突变和其他演化动力学。他们将其实例化为 IG-Bench，这是一个包含封闭式谱系推理任务（IG-Exam）和基于谱系的生成竞技场（IG-Arena）的基准，通过遗传-变异-选择指标进行评分。在 14 个系统上的实验表明，看似合理的研究文本并不意味着谱系能力：最佳系统的精确准确率仅为 27.3%，并且结构化谱系上下文将系统区分开来，而不是均匀地帮助它们。

数据集

作者创建了 IG-Bench，一个基于精心整理的科学谱系轨迹构建的基准。它包含两个评估子集：IG-Exam 用于封闭式谱系理解，IG-Arena 用于基于谱系的创意生成。

• 总体构成与来源 IG-Bench 包含 1,961 条黄金谱系轨迹，涵盖 10 个科学领域：NLP、计算机视觉、多模态学习、生物学、化学、物理学、材料学、医学和数学。这些轨迹源自每个领域的里程碑和前沿论文。在轨迹中，1,085 个 Idea Genome 对象捕获了带类型的论文组件，920 条成对 GenomeDiff 记录标注了论文之间创意的演化方式。

• 每个子集的关键细节

• IG-Exam：1,029 个评估实例，涵盖 42 种任务类型。每个实例是一个元组（能力轴、匿名上下文、答案空间、黄金目标、元数据）。四个任务族分别测试阅读单个 Idea Genome、跨多个对象追踪继承、根据 GenomeDiff 标准解释过渡以及验证提出的谱系声明。评分采用严格精确匹配；如果谱系答案识别了正确的父项但分配了错误的驱动因素或对象命运，则被视为不可靠。

• IG-Arena：用于创意生成中的成对对战（此处不展开细节）。

• 数据构建与处理 构建分四个阶段进行：

1. 种子收集 – 专家为每个领域提名里程碑和前沿论文。
2. 轨迹扩展 – 通过引用链接、语义搜索和领域整理添加候选前驱和后继论文，生成 3–7 篇论文的谱系轨迹。
3. 基因组提取与差异对齐 – 多轮 LLM 辅助提取将每篇论文转换为带类型的 Idea Genome 对象，由专家审核。成对 GenomeDiff 记录添加了对象对齐、命运标注和驱动因素标签。
4. 基准级审核 – 通过程序化检查和保留的标注者验证模式有效性、答案契约、时间一致性、匿名泄露和轨迹连贯性。

质量保证涉及 50 名研究生标注者，他们验证了 GenomeDiff 标签、通过分层人工解题评估 IG-Exam 难度以及 IG-Arena 对战。在裁决前，动力学标签的标注者间一致性达到 84.7%。

• 论文如何使用数据 IG-Bench 仅用于评估。IG-Exam 衡量模型在封闭式任务中理解和推理科学谱系的能力；IG-Arena 评估基于谱系的开放式创意生成。基准中没有派生训练集；它作为一个可复用的工件，用于测试谱系理解和生成能力。

方法

作者介绍了 IdeaGene，一个旨在使科学工作的继承结构显式化且可审计的框架。其核心是，IdeaGene 将演化谱系的隐喻操作化，使得能够系统评估创意如何在论文之间被继承、突变、丢失或重组。该框架由三个紧密耦合的组件组成：Idea Genome 对象、基因组提取算子和 GenomeDiff 对齐。它们共同将谱系推理从主观叙述转变为结构化的、基于证据的过程。

框架的基础是 Idea Genome，一个从论文或提案中提取的带类型、最小化且与谱系相关的创意对象。形式上，一篇论文 $p$p 表示为一组 Idea Genome 对象：

$G(p) = \{g_i = (t_i, z_i, e_i, c_i)\}_{i=1}^{m_p}.$G(p)={gi​=(ti​,zi​,ei​,ci​)}i=1mp​​.

每个对象 $g_i$gi​ 携带一个功能角色类型 $t_i \in \{\text{niche}, \text{mechanism}, \text{observation}, \text{limitation}, \text{delta}, \text{claim}\}$ti​∈{niche,mechanism,observation,limitation,delta,claim}、一个内容描述 $z_i$zi​、一个指向源文本的证据指针 $e_i$ei​ 以及可选的约束 $c_i$ci​。角色类型编码了对象在谱系推理中的功能：niche 定义问题环境，mechanism 捕获可继承的方法或设计，observation 标记经验模式，limitation 识别瓶颈，delta 指定相对于先前工作的设计变更，claim 陈述所声称的结果。这种类型化确保后续对齐能够区分，例如，继承的机制与修复的限制。

基因组提取是抽象算子 $\mathcal{E}: p \mapsto G(p)$E:p↦G(p)，它将一篇论文转换为它的 Idea Genome。与一般的摘要不同，该算子受到四个要求的约束：每个对象必须类型化、基于证据（指向特定的文本片段、图表或方程）、最小自包含（足够小以独立继承或丢失，但又足够完整以表达一个单一的功能性创意），以及谱系相关（它的存在、缺失或修改必须影响后继者是否是一个连贯的后代）。这种有纪律的提取产生了一个可审计的表示，直接支持下游对齐。

给定前驱 $p_s$ps​ 和后继 $p_t$pt​，GenomeDiff $\Delta_{s\to t}$Δs→t​ 按类型和语义角色将 $G(p_s)$G(ps​) 的 Idea Genome 对象与 $G(p_t)$G(pt​) 的对象对齐。源对象被分类为 INHERITED、MUTATED 或 LOST，而未对齐的目标对象被标记为 NOVEL 或 EXTERNAL。每个对齐记录还捕获主要的过渡驱动因素、与周围任务或领域设置的关系，以及基于证据的理由。作者通过 LLM 辅助提取后进行专家审核来构建这些记录，确保可靠性。

对齐中的一个关键区别是谱系与共置。共享的基准、数据集或社区惯例构成了一个 EcologyContext，解释了为什么论文处于相同的研究环境中，但它们本身并不确立传承关系。基因组连续性——机制级对象的继承——构成了谱系声明。没有驱动因素继承的共享设置被视为生态位竞争；继承的机制进入新设置被视为适应性辐射。

最后，该框架将 GenomeDiff 模式分类为可操作的演化动力学。主要检查是驱动因素继承：没有证据支持时，关系被视为共置而非谱系关系。当有证据时，模糊情况通过固定的优先级规则解决：杂交优先于物种形成，物种形成优先于生态位竞争，当设置转变是驱动因素时，适应性辐射优先于突变。这些类别为评估科学谱系提供了一致的词汇，而不声称穷尽了所有可能的发展模式。

实验

IG-Bench 基准通过 IG-Exam（封闭式谱系理解）和 IG-Arena（基于谱系的生成）评估 AI 科学家，使用受控信息设置来隔离参数化构思、论文级上下文和结构化谱系上下文。IG-Exam 显示，谱系推理在组合上是困难的，从单个基因组阅读到完整的谱系验证，准确率急剧下降，工具支架有助于信息收集，但无助于组合一致性。IG-Arena 显示，提供结构化谱系主要通过增加遗传性（基于父机制）来提高提案质量，而变异在不同设置中保持高位，系统经常产生看似合理但谱系不连贯的创意。总体而言，实验表明，仅凭论文级证据是不够的，验证能力与生成质量紧密相关，当前模型相对于真正的谱系连贯性过度产生了表面合理性。

IG-Bench 是唯一将创意表示为显式 Idea Genome、追踪演化差异并直接衡量理解和生成的评估范式。先前的范式在论文级摘要、嵌入或工作流轨迹上运作，缺乏结构化的创意继承单元。这一差距促使需要一个能够区分基于谱系的连贯性与表面合理性的基准。IG-Bench 独特地提供了 Idea Genome 单元和显式的 GenomeDiff 追踪，这与基于文献的构思（部分、隐含）和自动化研究 agent（没有固定单元）不同。只有 IG-Bench 直接评估理解和生成；其他范式仅评估事实性或结构性理解，或没有谱系基础的生成。论文级证据和无序摘要不足以捕获哪些创意组件被继承、突变或丢失——带有 GenomeDiff 的谱系设置增加了必要的信号。自动化研究 agent 缺乏固定的分析单元，并且不显式地建模差异，使得它们的生成评估是间接的。

创意演化可以根据驱动机制是否被继承以及生态位是否共享分为六种动力学。通过 GenomeDiff 标准验证的基于谱系的重组产生连贯的群体插入，而当前系统经常产生看似合理但谱系不连贯的创意，缺乏对父机制的适当继承。适应性辐射保留驱动机制但将其应用于新任务或领域，例如自注意力从 token 序列转移到图像块。杂交结合来自两个不同谱系的驱动对象，例如将 CLIP 风格的视觉编码器与指令调优的语言模型合并。谱系设置中的遗传性强烈驱动群体插入评分（PES），而变异在所有动力学中保持高位，表明合理性往往超过连贯继承。要求识别父机制和兼容 Idea Genome 对象的验证任务对系统来说最难，它们连接了理解和生成质量。检索密集的研究 agent 相对于直接 LLM 几乎没有增加谱系推理能力，多步流水线甚至可能降低生成连贯性。

IG-Exam 基准涵盖 42 种任务类型和 1,029 个实例，跨越四个能力轴：基因组抽象、继承追踪、演化推理和谱系验证。基于谱系的评估显示，系统经常产生看似合理但谱系不连贯的提案，遗传性驱动了群体插入评分的差距。验证任务被证明是最难的，检索密集的工具支架增强了依赖检索的能力，但组合推理基本不变。T4 谱系验证任务最具挑战性，需要检测入侵者、错误步骤、缺失链接、引用冲突或父项不匹配。谱系条件下的 PES 增益，特别是在遗传性方面，表明 GenomeDiff 结构携带了超出无序论文摘要的信号。

谱系理解对当前系统来说仍然极其困难，最佳直接模型仅达到适中的精确准确率，工具增强的框架提供的增益有限。工具支架的改进集中在继承追踪等检索密集型子任务上，而组合推理和验证——对生成最关键的能力——几乎没有受益。在开放式生成中，系统倾向于产生看似合理但谱系不连贯的创意，因为高变异持续存在，而遗传性驱动质量差距。最强的直接 LLM 在 IG-Exam 上达到 23.1% 的精确准确率，最佳工具增强框架仅达到 27.3%。从基因组抽象（T1）到谱系验证（T4），性能急剧下降，反映了增加的组合负担。CLI 框架显著提高了 T2 继承追踪，但在 T3 演化推理和 T4 谱系验证上增益可忽略不计。具有检索密集型工作流的研究 agent 表现与基础 LLM 相似，几乎没有增加谱系推理能力。在生成中，遗传性驱动 PES 差距，而变异保持高位，表明合理性过度产生而缺乏谱系连贯性。

IG-Bench 通过将创意表示为显式 Idea Genome 并通过 GenomeDiff 追踪差异来评估创意演化，从而能够直接衡量基于谱系的理解和生成。实验对创意动力学进行了分类，例如适应性辐射和杂交，并表明当前系统经常产生看似合理但谱系不连贯的输出，遗传性驱动质量差距而变异保持高位。IG-Exam 基准涵盖从基因组抽象到谱系验证的四个能力轴，揭示了工具增强框架改进了检索密集型任务，但在组合推理和验证上增益可忽略不计，而最难的验证任务连接了理解和生成质量。总体而言，谱系理解仍然极具挑战性，检索密集型研究 agent 相对于直接 LLM 几乎没有增加谱系推理能力。