AIベンチマークの科学化を提唱

マックス・プランク知能システム研究所のモリッツ・ハルト所長は、二〇二六年の著書で、人工知能のベンチマークが科学としてではなく競技市場として機能し、信頼性が損なわれていると主張する。ベンチマークはデータを訓練用と評価用に区別し、順位で優劣を比較する仕組みで、一九五九年の文字認識テストが起源だという。一九八七年の音声認識試験は期待の低さから技術投資を冷やし、二〇一二年の画像認識試験は深層学習の急伸を促した。近年は生成型の大型言語モデルの能力測定が盛んだが、正確な分数は環境に大きく依存し、絶対値として意味を持ちにくい。ハルト氏は、過去には訓練材料が共通していたため、順位だけなら偶然にも実用的な指標として機能したとみる。しかし現在の大規模言語モデルでは訓練に何を使ったか不明で、開発者が特定の問題集を先に見て最適化する傾向が強い。そのため順位で勝ち負けが安定しても、能力の絶対評価や仕組みの解明にはつながらない。解決策として、測定前に全モデルへ同じ準備問題集合を課す高地トレーニング型の統一手順が提案される。これにより過度な対策の差を縮め、比較の公平性を高める。だがそれでも得られるのは改善の目安にすぎず、モデルがなぜ答えられるかを示す科学的理解には及ばない。ベンチマークは理論以前に知見を積み上げる装置として役立ってきたが、今後の人工知能研究ではその限界を超えた分析が必要になる。