小規模言語モデルは医学教科書から高度な推論スキルを学習する

近年、商用の大規模言語モデル（LM）の進展により、医療分野におけるタスクにおいて有望な成果が得られているが、その閉鎖型アーキテクチャはプライバシーおよびセキュリティ上の懸念を引き起こし、医療現場における広範な活用を妨げている。オープンソースモデルの開発にも取り組まれているが、パラメータ数が限られているため、複雑な医療課題を解くために必要な多段階推論能力が不足している場合が多い。こうした課題に対応するため、本研究では、70億から700億パラメータを有する医療AIシステムの新シリーズ「Meerkat」を提案する。本モデル群は、18冊の医学教科書から抽出した高品質な「思考の連鎖（chain-of-thought）」推論経路を含む独自の合成データセットと、多様な指示追従データセットを用いて学習された。Meerkatは、6つの医療ベンチマークにおいて顕著な精度を達成し、従来の最高性能モデルであるMediTronやBioMistral、GPT-3.5を大きく上回った。特に、Meerkat-7Bは70億パラメータモデルとして初めて、米国医師国家資格試験（USMLE）の合格基準を満たした。また、Meerkat-70BはGPT-4に対して平均1.3%の優位性を示し、38件の複雑な臨床症例について21件を正しく診断した。これは、人間の平均13.8件を上回り、GPT-4の21.8件に非常に近い成果である。さらに、既存の小規模モデルと比較して、Meerkatは臨床的質問に対してより詳細な自由形式の回答を提供し、大規模商用モデルと同等の性能に近づいた。この成果は、大規模言語モデルとの性能ギャップを顕著に縮小し、複雑な医療課題に対処する上で本モデルの有効性を示している。