BenchMIRT、LLMベンチマークの実測能力を解明

アレンAIは大型言語モデルのベンチマーク監査ツールBenchMIRTを発表した。これは個々のプロンプトレベルでモデルの回答パターンを分析し、ベンチマークスコアが実際にはどの能力を測定しているかを解明する手法である。従来の評価基準は特定能力を目的とするが、個々の質問は複数の能力に依存しており、単純な総合スコアでは測定対象が不明確になる課題があった。 BenchMIRTは心理測定の多次元項目応答理論を応用している。2025年3月以前の100モデルを対象とした16ベンチマーク、3万4千問以上のデータで学習させ、事前ラベルなしで潜在的次元を抽出した。その結果、安全性と一般推論の二大次元が安定して検出され、ベンチマークが単一能力を測っていない実態が確認された。例えば社会的バイアス評価のBBQは推論能力と強く相関し、WMDPは推論能力が高いほどスコアが低下する逆相関を示した。有害リクエスト対応のHarmBench内でも、著作権関連質問は推論能力、それ以外は安全性能力と独立して関連していることが判明した。 同ツールはベンチマークの効率化に寄与する。項目の難度と識別度を分析し、上位10％から50％の質問を選別してもモデルの能力順位付けをほぼ維持できることを実証した。また、学習パターンを用いて未評価プロンプトへの正答率を予測する能力も有し、従来の予測手法を上回る79％の精度を記録した。これにより、限られた資源での評価や、焦点を絞った評価設計が可能となる。 一方で課題も存在する。学習データは2025年3月以前のモデルに限定されており、最新世代の検出精度は未検証である。抽出される次元は選択セットに依存し、予測観点では単純平均スコアがわずかに高い。項目レベルの詳細な分析は設計透明性を向上させるが、評価を脆弱化させるリスクも伴う。アレンAIは測定対象の明確化と評価の効率化を通じて、より精度の高いLLM評価基盤の構築に寄与すると期待している。