大模型评估科研想法新颖性仍不稳定

艾伦人工智能研究所团队今日在线发布名为“旧想法，新问题”的研究，同步开放新颖性评判基准、数据和代码，并推出可复用评测流水线，检验大语言模型能否可靠判断科研想法是否足够新颖。研究基于二〇二六年国际表征学习大会同行评审意见，构建由审稿人明确评价原创性的人类想法池，以及由简单生成器产生的人工智能想法池，测试六款主流模型在单条评分和成对比较中的表现。结果显示，评判结果对提示词、检索和推理预算高度敏感。在人类与人工智能想法混合测试中，某旗舰模型仅因提示从设定严格条件改为简单提问，准确率便从93.5%降至40.9%，并改变过半判断；另一旗舰模型在纯人类想法测试中也出现21个百分点的波动。增加文献检索和高强度推理并未稳定提升准确率，一个增强检索与推理的测试成本约为简单基线十倍，却落后于采用简单提示的旗舰模型。专用评估系统也表现不佳：简单提示评估器以2.59美元取得0.854宏平均得分，两个专用评估系统分别以30.66美元和82.05美元得到0.642和0.772。研究认为，当前大模型评判人工智能生成想法新颖性仍不可靠，自动化科研需要针对真实人工智能生成内容建立更稳健的评测体系。