スタンフォード大学の研究チームが、人工知能（AI）開発に使われるベンチマークの信頼性に深刻な問題があると指摘した。同チームのサンミ・コイエジョ助教授と博士課程学生のサン・トゥオンは、AIモデルの性能を評価するための数千ものベンチマークを調査し、そのうち最大20分の1（5％）が重大な欠陥を抱えていることを発見した。この問題は、AIモデルの評価や開発の方向性に大きな影響を及ぼす可能性がある。 ベンチマークは、新しいAIモデルが言語理解や画像認識、医療診断などの能力で過去のモデルを上回っているかどうかを判断する基準として不可欠だが、その数は膨大で、質のばらつきが大きい。研究チームは、神話的な「幻想の怪物（fantastic beasts）」にたとえて、これらの欠陥を「ファンタスティック・バグ」と呼んだ。実際の問題は深刻で、誤ったラベル付け、文化的バイアス、論理の矛盾、形式の不一致などがあり、たとえば「5ドル」と「$5.00」を正解と認めないといった誤りも確認された。 こうしたバグは、AIモデルのスコアを不正確にし、能力の低いモデルが過剰に評価され、優れたモデルが不利益を被るリスクを生む。さらに、研究資金の配分や開発戦略の決定にも影響を及ぼし、技術の進展を歪める可能性がある。 研究チームは、統計理論に基づいた手法と大規模言語モデル（LLM）を組み合わせたフレームワークを開発。これにより、人間によるレビューの負担を大幅に削減し、9つの主要ベンチマークで84％の精度で問題のある問題を特定した。このアプローチは、現在の「公開後放棄」の慣行から、継続的な管理と改善へと移行するきっかけとなると期待されている。 現在、チームはベンチマーク開発機関と協力し、欠陥の修正や削除を進めている。一部の機関はその重要性を認めつつも、継続的な改善に消極的な反応も見られる。しかし、研究チームは、AIが医療や交通、教育など社会のあらゆる分野に深く関与する中で、信頼性の高い評価基準の構築が不可欠だと強調。正確な評価は、より安全で強力なAIの実現につながると期待している。