FrontierScience 推理科研任务评测数据集
FrontierScience 是由 OpenAI 于 2025 年发布的一个推理 + 科研任务评测数据集,相关论文成果为 FrontierScience:evaluating AI’s ability to perform expert-level scientific tasks,旨在系统性评估大模型在专家级科学推理与科研子任务的能力。
该数据集采用了「专家原创 + 双层任务结构 + 可自动评分机制」的设计机制,划分为两个子集,分别对应封闭式精确推理与开放式科研推理两类能力:
- Olympiad 数据集:由国际物理、化学和生物奥林匹克竞赛的奖牌获得者及国家队教练原创设计,问题难度对标 IPhO 、 IChO 和 IBO 等国际顶级竞赛;聚焦短答案推理任务,要求模型输出单一数值、代数表达式或可模糊匹配的生物学术语,以保证结果的可验证性和自动评测的稳定性;
- Research 数据集:由博士生、博士后及教授等在职科研人员撰写,题目模拟真实科研过程中可能遇到的子问题,覆盖物理、化学与生物三大领域。每道题目均配套 10 分制的细粒度评分,用于评估模型在答案正确性之外,在建模假设、推理路径与中间结论等多个关键环节的完成情况。