大規模言語モデル（LLM）の性能を比較・ランキングするプラットフォームが、実際には信頼性に欠ける可能性があることが、マサチューセッツ工科大学（MIT）の研究で明らかになった。企業が販売報告書の要約やカスタマーサポートの対応にAIを活用する際、数百ものLLMの中から最適なモデルを選ぶために、こうしたランキングに頼ることが一般的だが、MITの研究チームは、わずかなユーザー評価の変動でもランキングが大きく変わるという脆弱性を発見した。 研究チームは、ユーザーが2つのモデルの回答を比較して「どちらが優れているか」を選ぶ形式のランキングシステムを対象に調査。5万7千件以上の投票データを分析した結果、わずか2件の投票を除外するだけで、トップモデルが入れ替わる事例も確認された。これは全体の0.0035％に相当する極めて小さなデータ量であり、ランキングが極めて感度が高く、一貫性に欠けることを示している。 研究の主著者であるMITのタマラ・ブロデリック教授らは、この現象が「ユーザーの誤操作や注意力の欠如、あるいは単なる好みの違い」に起因する可能性が高いと指摘。特に、明確な正解があるにもかかわらず、誤った選択がなされたケースが多数見られた。こうしたノイズがランキングの決定要因になっているとすれば、企業が「トップモデル」として採用する判断は、実際には非常に不安定なものとなる。 研究チームは、こうした問題を検出するための効率的な評価手法を開発。膨大なデータのすべてを手動で検証するのは不可能だが、近似計算により影響力の高いデータポイントを特定できるようにした。ユーザーは、その影響力の高い投票を確認し、除外して再評価することで、ランキングの信頼性を検証できる。 また、より信頼性の高いランキングを実現するためには、ユーザーに「自信度」や「選択理由」などの追加フィードバックを求める、あるいは専門家によるレビューを導入するなどの工夫が有効と提言している。 この研究は、AIモデルの選定にあたってランキングに盲信しないことの重要性を強く訴えている。特に、ビジネスや組織の運営に影響を与える重大な意思決定では、ランキングの背後にあるデータの質と安定性を再検証する姿勢が不可欠である。研究は、米国海軍研究局、MIT-IBM Watson AIラボ、米国国立科学財団、Amazon、CSAILの助成金によって支援されている。