OpenAIはコーディング能力評価で広く利用されるベンチマーク「SWE-bench Pro」のデータ品質について包括的な監査を実施し、タスクの約30％に設計欠陥や汚染などの問題があることを確認した。同社は今回の結果を受け、以前推奨していた同ベンチマークの採用を撤回し、モデル開発者に対し評価結果の慎重な検証を呼び掛けている。 監査はモデルの試行結果、メタデータ、失敗トレースを自動フィルタで抽出し286件の問題候補を特定した。これらはCodexベースの調査エージェントによる再検証と、経験豊富なソフトウェアエンジニア5名による並行レビューを経て審査された。エージェントと人間の評価では約74％の一致を見たが、人間のレビューアーはより多角的な観点から欠陥を特定し、特にテスト範囲の狭さや要件未定義に関する指摘でエージェントを上回った。両手法の組み合わせにより保守的なラベリングが実現され、実際の欠陥検出精度が向上した。 発見された問題はテストケースの過度な厳格さ、要件定義の曖昧さ、既存コードとの整合性欠如、およびデータ汚染に分類された。これらは本来人間の開発者向けに設計されたGitHubのプルリクエストやイシューを転用したことに起因する。OpenAIはモデル進化に伴いAIエージェントを大規模なデータ品質管理に活用する手法の有効性を示したが、同時にベンチマーク設計の難しさと人間の専門的監督の重要性も強調した。 同社の評価は、モデルのデプロイメントや安全性判断の基盤となるベンチマークはゲーム化が困難で信頼でき、実際の能力を正確に反映するものでなければならないとの認識である。今後は経験豊かな開発者による新規ベンチマークの構築と監査プロセスにおける人間の監督強化を求めている。モデル開発者は現在の評価指標の限界を認識し、慎重な検証体制の構築が求められる。