一句话总结

耶鲁大学和芝加哥大学的研究者提出一个框架，逆向工程出一篇论文的启发性前驱工作，提示LLM从中生成想法，并部署一个双轴研究品味分类法来量化差异，揭示出LLM生成的想法在系统性上更狭窄，且不成比例地集中在桥接式机会和综合方法上，而人类研究想法的分布则更为广泛。

核心贡献

• 本文引入了一个大规模评估框架，该框架为每篇人类研究论文逆向工程出一组高度相关的前驱工作，然后提示LLM从这些工作中生成一个新的想法，从而在共享的文献基础输入下实现人类与机器创意生成的可控比较。
• 提出了一个双轴研究品味分类法，通过机会模式和研究范式来刻画每个想法，用于量化人类与LLM生成想法之间的分布差异。
• 在多个LLM和科学领域的实验结果表明，LLM生成的想法不成比例地集中在桥接式机会和综合方法上，而人类想法则跨越了更广泛的机会模式和方法论范式，揭示了当前模型在创意生成上更狭窄且系统性偏移的分布特征。

引言

LLM越来越多地被用于生成研究想法，但它们的输出是否反映了人类科学推理的全部多样性仍不清楚。大多数先前评估仅针对单个想法的新颖性或可行性进行评估，却忽略了一种可能性：即便每个想法看起来都合理，LLM也可能反复产生相同类型的问题框架和贡献策略。作者引入了一种关于研究品味的分布视角，比较人类研究者和LLM在相同的文献基础约束下如何生成想法。他们发现，当前的LLM不成比例地生成综合性、以合成为导向的提案，而人类想法则涵盖了更为广泛的机会模式和方法论范式。

数据集

作者构建了一个包含两个子集的Idea Corpus，用于评估研究创意生成能力。

• Human Idea subset

• 来源：来自ICLR、ICML、NeurIPS（2023–2026）和Nature Communications（2023–2025）的研究论文，涵盖71个科学学科。

• 提取流程：一个LLM辅助的流程将论文自身的想法（人类终点）提取为结构化表示，捕获创新点、与前驱工作的区别以及关键洞见，然后将其重写为提案式的动机和方法。

• 上下文构建：对于每个想法，从该想法和论文的相关工作部分中逆向工程出4–8篇高度相关的前驱研究，仅保留其标题和摘要作为输入。

• 规模：11,683个有效的人类想法。

• LLM Idea subset

• 生成方法：对于人类子集中的每组前驱工作标题和摘要，提示一个LLM以相同的结构化格式生成一个新的研究想法（综合研究空白的动机，以及高层次的方法）。

• LLM系列：评估了Claude、Gemini、GPT、DeepSeek和Qwen模型。

• 在本文中的用途

• 该语料库作为想法生成的评估基准。作者使用相同的输入上下文，将人类想法与LLM生成的想法进行比较。

• 没有应用训练划分或混合比例；该语料库仅用于零样本评估。

• 处理细节

• 裁剪：将完整论文内容缩减为仅保留前驱工作的标题和摘要，剥离原论文的文本，以形成公平的竞争环境。

• 元数据构建：结构化表示（动机和方法）通过提取提示生成，前驱工作列表通过结合从提取的想法和论文相关工作部分中获取的信息来构建。

实验

评估将人类和LLM的研究想法锚定于相同的文献上下文，并使用机会模式和方法范式的分类法来比较它们的分布。实验表明，LLM的输出始终集中在桥接和综合的策略上，与人类想法更为多样化的分布形成鲜明对比，后者通常涉及局部干预，如替换组件或解耦机制。在更丰富的上下文下，这一差距依然存在，甚至在扩展推理时进一步加剧，而诊断评分表明，模型生成的提案往往不够具体，且更像是模板化的产物。机制分析进一步揭示，LLM反复对高频技术概念施加一种安全的整合配方，而人类提案则更频繁地修改、分离或形式化更窄的局部结构。

LLM生成的想法在机会轴和方法轴上都比人类想法显著更集中，其中最大的差距体现在它们如何框定一个想法值得追求的理由上。模型压倒性地偏好桥接和综合模式，而人类提案在解释、测量、优化和其他贡献类型上的分布更为均匀，即使在模型被给予完整论文上下文时，这种分布不匹配依然存在。LLM严重过度产出了桥接和综合机会模式：它们47–64%的想法属于这一类别，而人类想法中这一比例仅为12.1%。即使在机会轴上表现最好的模型，其与人类分布的总变差距离也达到了0.348，表明需要移动超过三分之一的概率质量才能匹配人类想法的多样性。

模型生成的提案通常比人类提案获得更低的瓶颈特异性评分和更高的模板化评分，其中Qwen3-8B在所有维度上表现出最严重的退化。Claude-Sonnet-4.6是一个例外，其瓶颈特异性略优于人类基线，模板化程度更低，同时保持了可忽略不计的表面缝合评分。大多数模型输出的瓶颈特异性低于人类想法，模板化评分高于人类想法，其中Qwen3-8B的退化最为明显（表面缝合评分最高，特异性最低，模板化评分最高）。Claude-Sonnet-4.6取得了最佳的非人类诊断评分，在瓶颈特异性上略优于人类提案，且使用了更少的模板化语言，同时表面缝合评分接近零。

用模型生成的完整论文摘要替换摘要并没有缩小LLM与人类想法提案之间的分布差距；相反，在两个测试模型的两个分类轴上，总变差距离和Jensen-Shannon散度都有所增加，而归一化熵则下降或几乎持平。这表明更丰富的上下文并没有使模型输出更接近人类参考分布，即使在拥有完整论文信息的情况下，过度强调桥接和综合想法的模式依然存在。完整论文上下文使两个模型在机会轴上的TVD和JSD增加，Qwen3-8B的TVD从0.376上升到0.430，DeepSeek-V4-Flash的TVD从0.368上升到0.400。在方法范式轴上，完整论文摘要也恶化了分布匹配，使Qwen3-8B的TVD从0.338上升到0.400，DeepSeek-V4-Flash的TVD从0.213上升到0.236。在完整论文上下文下，两个模型在机会轴上的熵都下降了（Qwen3-8B：-0.046，DeepSeek-V4-Flash：-0.005），Qwen3-8B在方法轴上的熵也下降了（-0.053），而DeepSeek-V4-Flash的方法熵几乎未变（-0.007）。定性的标签分布模式保持不变：模型继续过度产出桥接和综合想法，并未向人类在解释、测量和优化式贡献上更广泛的分布转移。

启用推理模式持续增加了桥接和综合的模板质量，降低了机会熵，并提高了与人类分布的总变差距离。这一转变发生在不同模型规模下，表明推理强化了模型偏好的创意模式，而非拓宽其创造性多样性。结果是输出想法更加集中，且更不像人类。思考模式提升了两个模型的桥接和综合模板质量，较小模型的绝对增幅更大。机会熵大幅下降，而与人类分布的总变差距离上升，使输出分布更尖锐且更不像人类。相同的方向性效应出现在Qwen3-8B和DeepSeek-V4-Flash中，表明推理强化了创意模式，无论模型规模如何。方法层面的总变差距离也增加了，方法熵下降，进一步表明偏离了类似人类的创意多样性。

评估设置将LLM生成的研究想法与人类提案沿分类轴和诊断质量评分进行基准测试。实验表明，LLM严重过度产出了桥接和综合机会模式，而人类想法在解释、测量和优化类型上的分布更为均匀。提供完整论文上下文或启用推理模式进一步集中了模型输出并拉大了分布差距，而非改善多样性。诊断评估显示，大多数LLM生成的想法比人类提案具有更低的瓶颈特异性和更高的模板化程度，Claude-Sonnet-4.6是一个显著的例外。