LLM 评测

15% 权重

通用 · 15% 权重

编程 · 15% 权重

15% 权重

10% 权重

通用 · 10% 权重

编程 · 10% 权重

5% 权重

5% 权重

一项前沿级基准，包含 2,500 道经专家审核的数学、科学和人文学科题目，旨在作为最终的封闭式学术评测。

一项基准，用于测试 LLM 在研究级物理推理任务上的表现，包含 71 个复合研究挑战。

一项高难度基准，衡量语言模型从 10k 至 100k token 的长文档（使用 cl100k_base 分词器计量）中提取、推理并综合信息的能力。

GPQA 中最具挑战性的 198 道题，博士级专家可达到 65% 的准确率，而熟练的非专家即使可以使用网络也仅达到 34%。

GDPval-AA v2.1 是面向 OpenAI GDPval 数据集的评测框架。它在 44 种职业和 9 个主要行业中测试 AI 模型的真实工作任务。模型通过 Stirrup 在智能体循环中获得 shell 访问和网页浏览能力来解题，Elo 评分来自盲评两两对比。

一项基准，评估模型在 58 项多样、可验证的域外约束上的精确指令遵循泛化能力，考察模型满足特定输出要求的能力。

一项智能体基准，通过软件工程、系统管理和数据处理任务评估 AI 在终端环境中的能力。

一项双控对话式 AI 基准，模拟技术支持场景，智能体与用户必须协同操作以解决电信服务问题。

一项由科学家策划的编程基准，包含来自 16 个科学学科、80 个实验室问题的 288 个测试集子问题。

MMMU 的增强基准，消除了捷径与猜测策略，以更严格地评测多模态模型在 30 个学科中的表现。

Terminal-Bench 2.0 的验证刷新版：89 个精选任务，涵盖软件工程、系统管理、数据处理、模型训练和安全，并修复了环境与指令问题，使分数反映智能体能力而非环境缺陷。

Wisedocs 推出的开放基准，衡量模型对冗长、碎片化病历的推理能力，即完成理赔专业人员审查保险与医疗案件时所依赖的多文档综合。

来自 𝜏-Knowledge 框架的金融科技客服基准，测试智能体能否在大型非结构化知识库中检索，并执行多步工具调用以完成真实银行业务流程。

MMLU 的增强版本，包含 14 个学科领域的 12,000 道研究生水平题目，设有十个选项，推理要求更高。

一项无污染的编程基准，持续从 LeetCode、AtCoder 和 CodeForces 采集新的竞赛编程题目，评估代码生成、自我修复和代码执行。

2025 年美国数学邀请赛（AIME）的全部 30 道题，考察奥赛级数学推理，答案为 000-999 的整数。

Cognition FrontierCode 1.1 的实现，这是一个私有智能体编程基准，测试模型完成编程任务的方式能否真正被真实仓库的维护者合并。

MMLU 的轻量多语言版本，用于评估模型在多种语言与文化背景下的知识与推理能力。

Harvey 法律智能体基准（LAB）的实现，测试 AI 智能体处理 Harvey 数据集中 120 项私有法律任务的能力，覆盖 24 个法律执业领域。v1.1 与 Harvey 合作构建，会依据任务源文档核查每份交付物是否存在幻觉：即使通过全部评分标准，只要存在实质性幻觉也不得分。由三名评审组成的评审组逐条评分。

一项数据分析基准，测试 AI 智能体使用电子表格和文档回答业务分析师或数据分析师日常遇到的定量问题的能力。

ServiceNow EnterpriseOps-Gym 的独立实现，这是一个智能体基准，测试 LLM 智能体能否通过实时工具调用，在八个业务域中完成有状态、多步的企业工作流，并以底层数据库的最终状态评分。

MATH 数据集中 500 道题的子集，涵盖代数、几何、数论等六个领域的竞赛级数学。

HeyGen Code2Video Bench 的实现，评估模型依据 114 份设计需求、使用 HyperFrames HTML 制作简短产品与品牌视频的能力。

基于 Google DeepMind 的 Multimodal Knowledge Agent (MKA) 基准的实现，测试智能体能否阅读视觉信息密集的项目文件（如建筑图纸、工程示意图和临床扫描影像），并产出专业人士水准的交付物。

Handshake AI 的 VIALS 基准的实现，测试语言模型能否解读科学图像并回答与图像中证据相关的问题。

一项衡量 AI 模型构建交互式 3D 体验能力的基准。模型通过 Stirrup 在离线沙箱中作为智能体工作，把书面需求转化为 three.js 场景，Elo 评分来自盲评两两对比投票。

Collinear AI CWE-bench 的实现，这是一个防御性网络安全基准，测试编程智能体能否审计真实开源代码库，在所述问题范围内发现漏洞，并在不破坏正常行为的前提下完成修补。

Berkeley RDI CyberGym-E2E 的实现，这是一个防御性网络安全基准，测试智能体能否在 C/C++ 开源项目中找到真实的内存安全漏洞、用概念验证输入复现，并在不破坏项目测试的前提下完成修补。

Vercel DeepsecBench 的实现，这是一个防御性网络安全基准，测试智能体在真实开源应用代码中发现漏洞的能力。

OpenAI HealthBench：5,000 段健康对话，按医生编写的评分标准打分，涵盖从急诊转诊到全球健康的场景。

OpenAI HealthBench Professional：525 段临床对话，覆盖咨询、写作和研究任务，按医生编写的评分标准打分。

IBM ITBench 基准的实现，测试 AI 智能体基于离线事故快照对 Kubernetes 事故进行根因分析。智能体检查告警、事件、链路追踪和拓扑，识别导致故障的贡献因素实体（deployments、pods、namespaces、network policies 等）。

APEX-Agents 基准的实现，测试 AI 智能体在专业服务环境中使用贴近真实的应用程序工具完成长周期、跨应用任务的能力。