近期，OpenAI 发布审计报告显示，业界广泛使用的代码能力评测基准 SWE-bench Pro 存在严重数据质量问题，约 30% 的任务存在设计缺陷。为支撑模型安全部署与对齐决策，OpenAI 此前曾推荐该基准替代存在漏洞的 SWE-bench Verified。SWE-bench Pro 通过模拟开源仓库真实迭代场景，测试模型解决长周期复杂编码任务的能力，前沿模型在其上的通过率曾在八个月内从 23.3% 跃升至 80.3%。 此次深度审计采用自动化审查管线与资深软件工程师人工复核相结合的机制。研究发现，任务评估失效主要源于提示词模糊、需求界定不清及测试用例覆盖率过低。OpenAI 指出，这些缺陷根源于开源社区为人类协作设计的拉取请求，直接转化为模型评测数据时缺乏独立性与标准化。尽管自动化管线能高效拦截明显故障，但人工复核揭示了更多交叉性缺陷，尤其是在低覆盖率测试的判定上，人机结果存在显著差异。 基于审计结论，OpenAI 正式撤回对 SWE-bench Pro 的使用推荐，并警示模型开发者审慎参考相关评测数据。团队呼吁评测社区与资深开发者共建新型基准，通过强化人工监督与标准化流程，打造难以被针对性优化、真实反映模型能力边界的评估体系，从而为 AI 安全部署与科研规划提供可靠依据。