Command Palette
Search for a command to run...
Sage-Taiyi:一种面向科学发现的元认知架构
Sage-Taiyi:一种面向科学发现的元认知架构
摘要
我们提出了 Sage-Taiyi,一种受元认知启发的架构,它利用积累的科学理解来指导下一步研究什么以及如何研究。通过显式的监控与控制,该系统修正其对证据、假设和未决问题的理解,并利用这些评估来调整研究目标、选择可复用的推理方法。在 Taiyi-Bench(一个由来自十个学科 50 篇论文的 265 个任务组成的 AI 合作科学家构思基准)上,Sage-Taiyi 在历史重新发现和开放式构思的全部八项指标上均排名第一,总分达到 54.0,而最强基线 AI Scientist-v2 为 47.9。它在两个外部科学构思基准上也表现良好。五次专家引导的合作进一步将其提议与化学、材料科学和工程领域的实验和计算验证联系起来。在化学中,反应条件优化将钴催化羰基化的产率从痕量提高到 84%,将光催化烯丙基胺化从 13% 提高到 69%。这些结果支持将元认知调节作为科学构思及其走向实际验证的一种方法。
一句话总结
上海人工智能实验室的研究人员提出了 Sage-Taiyi,这是一种受元认知启发的架构,通过修正证据、假设和问题来调整研究目标和推理方法,在 Taiyi-Bench 的全部八项构思指标上排名第一,综合得分为 54.0,而 AI Scientist-v2 为 47.9,并将羰基化产率从痕量提高到 84%。
核心贡献
- Sage-Taiyi 被提出为一种受元认知启发的架构,通过显式的监控与控制、可修正的认知状态和可复用的认知库,利用积累的科学理解来指导后续研究什么以及如何研究。
- 在 Taiyi-Bench(来自十个学科 50 篇论文、包含 265 个任务的构思基准)上,Sage-Taiyi 在全部八项指标上排名第一,综合得分为 54.0,最强基线 AI Scientist-v2 为 47.9,并且在两个外部科学构思基准上也表现良好。
- 五项由专家引导的合作将 Sage-Taiyi 的提议和搜索表述连接到化学、材料科学和工程领域的实验与计算验证,其中反应条件优化将钴催化羰基化产率从痕量提高到 84%,将光催化烯丙基胺化从 13% 提高到 69%。
引言
现代 AI 研究 agent 将一次性想法生成扩展为迭代式科学工作流,但简单迭代往往无法保留发现及其支持证据和适用条件。当搜索主要依赖当前轮反馈时,之前的失败和未解决的冲突可能被忽略,导致重复犯错或无效路径。作者借鉴元认知来解决该问题,将科学搜索视为对象层过程,并为此设置显式的元层监控器和控制器。他们提出 Sage-Taiyi,这是一种受元认知启发的架构,使用可修正的认知状态和可复用的认知库来指导下一步研究什么以及如何研究。Sage-Taiyi 在 Taiyi-Bench 全部八项指标上排名第一,专家合作显示其提议正在化学、材料科学和工程领域走向实际验证。
方法
作者提出了 Sage-Taiyi,一种受元认知启发的科学发现架构,其中对想法的搜索与对科学问题的理解共同发展。该系统分为两个相互作用的层级:对象层执行科学搜索,元层通过监控和控制对该搜索进行调节。
在对象层,系统在目标分支上构造和变换想法。搜索状态定义为 Xt=(Tt,Gt,Et)。目标树将研究问题分解为具体目标和子目标,每个目标和子目标配有局部策略。想法图将想法记录为节点,将其变换记录为边。想法通过组合子想法或直接生成进入该图。五种变换借鉴群体搜索和概念组合,用于产生新想法:Merge 合并相似方法,Fuse 组合互补机制,Diverge 开辟不同分支,Repair 修复依赖关系,Evolve 在保留核心机制的同时改进想法。证据状态将科学搜索建立在外部信息之上,记录实验结果、文献知识和专家输入,以形成科学判断。
元层评估科学搜索的进行情况,并决定应如何调整。它维护认知状态 Ct 和认知库 R,前者记录搜索关于问题已经确立了哪些内容及其对进一步搜索的启示,后者保留可复用的方法论启发式和认知算子。
方法论启发式组织完整的研究工作流。由于可能的研究路径空间很大,作者利用十种方法论启发式来高效引导研究路径。每种启发式都规定了适用性、分解策略和评估标准。
认知算子是可在方法论工作流中复用的局部推理变换。它们按功能组织:框定规定目标和需求,构造开发和变换想法,评估检查证据支持和可检验推论,学习使用搜索结果修正认知状态。
认知库将通用启发式与领域特定的研究方法相结合。领域实例化将通用推理程序映射到领域对象、机制和约束。反馈学习利用任务结果细化这些条目,使修正后的方法可以在更多领域中实例化,从而闭合学习回路。
监控与控制连接两个层级。监控解读搜索结果和新证据,以更新认知状态:
Ct+1=Monitor(q,Xt,Ct;R)控制使用更新后的状态选择适用方法 Rt,并引导后续科学行动:
Rt=Select(q,Xt,Ct+1;R),Xt+1=Search(q,Xt,Ct+1;Rt)研究执行框架将控制决策转化为研究任务。它把选定的任务细化为可执行计划,并选择合适工具。在构思过程中,目标树和想法图引导子 agent 并行探索多条推理路径。结果进入证据状态,监控使用该证据验证结论并更新认知状态。该回路将候选解决方案与实验和模拟连接起来,并由领域专家参与验证。
实验
实验通过基准对比和实际研究应用评估 Sage-Taiyi。Taiyi-Bench 通过重构研究决策并同时评估对已有路线的重新发现和开放构思质量,在十个领域测试科学构思能力;Sage-Taiyi 在决策恢复、新颖性、多样性、有效性、可行性和效率上优于基线系统。在 AgentIdeaBench 和 IG-Arena 上的额外评估证实,它能够建立在先前研究基础上,并生成原创且可行的方向。金属催化、光氧化还原催化、超材料、合金设计和压缩机工程中的五个案例进一步验证了其将想法转化为可测量的实验和工程结果的能力。
Sage-Taiyi 将方法论启发式组织为可复用的研究工作流,每个工作流承担不同角色,例如从证据构造解释、改变模型假设、通过类比迁移结构、重新表述表示、组合系统、从所需结果反向设计,或通过受限搜索归纳规律。每个启发式规定其适用时机、如何将研究目标分解为子目标和局部策略,以及如何协调认知算子并评估产生的想法。控制根据研究问题和当前认知状态在这些启发式之间进行选择,选定的启发式指导目标树的构建。证据驱动和模型驱动的启发式从观测或模型变化出发,得到解释、新推论和可检验预测。类比迁移和表征驱动的重新表述通过对齐关系结构或改变实体和变量的表示方式来产生新的求解路径。组合式综合和反向设计对目标进行分解,或从所需结果推断条件,然后通过正向评估评价得到的系统。受限搜索和规则归纳在可行的想法空间中探索,并从成功和不成功的实例中推导可检验的规律。在压缩机案例中,启发式引导的工作流生成了多条设计路线,专家选择加上 CFD 反馈在优化轮次中不断细化几何参数。
评估将 Sage-Taiyi 与涵盖直接生成、通用执行框架和科学发现执行框架的基线配置进行比较。大多数配置使用高推理强度的 GPT-5.6-Sol,包括 Sage-Taiyi 和科学发现执行框架,而少数直接生成基线和执行框架基线使用 Claude-Opus-5、Gemini-3.7-Flash 或超高推理强度的 GPT-5.6-Sol。该设置通过在许多基线中保持基座模型和推理水平一致来支持受控比较。直接生成基线在高推理强度下运行 GPT-5.6-Sol、Claude-Opus-5 和 Gemini-3.7-Flash,而不使用执行框架。通用执行框架配置包括与 GPT-5.6-Sol 或 Claude-Opus-5 搭配的 Codex 和 Claude Code,其中一个 Codex 配置使用超高推理强度。EvoScientist、AI Scientist-v2 和 Robin 均使用高推理强度的 GPT-5.6-Sol,与 Sage-Taiyi 配置一致。Sage-Taiyi 使用高推理强度的 GPT-5.6-Sol,以便与共享相同基座模型和设置的基线进行比较。
Sage-Taiyi 取得最高综合得分 54.0,并在全部八项指标上排名第一,其中重新发现和开放构思得分分别为 44.6 和 63.3。它在综合得分上超过最强基线 6.1 分,同时所报告的通用执行框架相比所示的直接生成系统有所提升。Sage-Taiyi 在综合、重新发现和开放构思性能上均超过最强基线。Sage-Taiyi 在覆盖度、前瞻性和精确匹配得分上均高于最强基线,表明其对已有科学决策的恢复能力更强。
在相同的 GPT-5.6-Sol 设置下,Sage-Taiyi 在 AgentIdeaBench 上领先所有参评的本地系统,取得最高加权平均分,并在每个评分维度上取得最高分。其最大相对提升出现在原创性和可行性上,从而扩大了相对最强本地基线的领先优势。其余系统得分较低并聚在一起,AI Scientist-v2 综合排名第二,Claude Code 在各项评分维度上落后。Sage-Taiyi 在每个评估维度上都取得最高分:原创性、影响力、可行性、清晰性和具体性。相对于最强本地基线,Sage-Taiyi 最明显的优势在原创性和可行性上,在影响力、清晰性和具体性上的差距较小。AI Scientist-v2 在加权平均分上排名第二,而 Codex 和 Claude Code 在大多数维度上得分较低。
在五项实际科学合作中,Sage-Taiyi 帮助将研究想法转化为反应路线、材料和工程设计上的可测量改进。专家选择和优化与实验或模拟反馈相结合,使工作流提高化学产率、放宽限制性设计约束,并改善材料和空气动力学性能。化学合作将模型反应从痕量或低产率起点提高到大幅更高的产率。设计和优化活动产生了高强度镁合金、具有强通带传输性能的电磁滤波器,以及精细化的离心式压缩机叶轮。
评估将 Sage-Taiyi 与直接生成、通用执行框架和科学发现执行框架基线进行比较,大多数比较在相同的高推理强度 GPT-5.6-Sol 设置下进行。Sage-Taiyi 整合了解释、类比、重新表述、组合、反向设计和受限搜索等多种启发式工作流,并在整体科学推理基准上排名第一,其最大优势体现在原创性和可行性上。实际合作进一步验证,将专家选择与模拟或实验反馈相结合,可提高反应产率、放宽设计约束,并改善材料和空气动力学性能。