イェール大学医学部のマーク・ジャーシュテイン教授らを主体とする研究チームは、臨床意思決定におけるAI推論能力を評価するための新しいベンチマークMedicalAgentsBenchを発表した。本研究成果は学術誌Patternsに掲載されている。 医療現場の診断や治療方針決定は、従来複数の専門医が議論を重ねる多職種連携によって行われてきた。これに倣い、複数の大規模言語モデルが協調して意見を出し合う外部化エージェント型と、単一のモデルが複雑な推論プロセスを内部で完結させる内部化推論型の二つのAIアプローチが注目されている。しかし既存のベンチマークは試験問題への暗記による高得点化が進み、真の推論能力の差を測ることが困難になっていた。この評価の壁を打破するため、同チームは八つの医療データセットを活用し、多段階思考を要求する八百件以上の難易度の高い質問を構築。MedicalAgentsBenchを開発した。 評価実験の結果、どちらの推論方式が優れているかという結論は出なかった。むしろ外部化エージェントを内部化推論モデルに追加することで性能がさらに向上する相互補完的な関係が明らかになった。この発見は、AIが医療現場で実際に活用される上での設計指針となる。特に患者データの機密性確保から公共モデルの利用が制限される医療機関にとっては、自前の臨床支援AIシステムを開発・評価する際の有用な基準を提供する。 研究を主導したジャーシュテイン教授は、真に有用な医療AIを構築するには適切な評価手法が不可欠だと指摘する。ファーストオーサーのシャオ・ダニエル・ヤンジュン氏とタン・ロバート・シアンロ氏も加わり、医療機関がプライバシー規制を遵守しつつ、臨床判断を補助するAIの費用対効果と信頼性を検証できる道筋を示した。本ベンチマークは多エージェント協調と単一モデル高度推論のどちらを採用するべきかというAI開発現場の議論に実証的な答えを与え、次世代医療AIの実用化を後押しするものと期待されている。