ReasonMed: 医療推論の進歩のために生成された370Kマルチエージェントデータセット

論理に基づく大規模言語モデル（LLMs）は数学やプログラミングの分野で優れた成果を上げていますが、知識集約型の医療質問応答における能力はまだ十分に研究されていません。これを解決するために、私たちはReasonMedを導入します。これは最大の医療論理データセットで、さまざまなLLMsによって生成された170万件の初期論理パスから精製された37万件の高品質な例を含んでいます。ReasonMedは、エラーリファイナー（Error Refiner）を設計して検証者が指摘した誤りやすいステップを特定し、修正することで論理パスを強化する多剤量検証と改良プロセスを通じて構築されています。ReasonMedを利用して、私たちは医療論理モデルの訓練に関する最良の実践方法を系統的に調査し、詳細な思考連鎖（Chain-of-Thought: CoT）論理と簡潔な回答要約を組み合わせることにより最も効果的な微調整戦略であることを発見しました。この戦略に基づいて訓練されたReasonMed-7Bは、10B未満のモデルに対する新しいベンチマークを設定し、以前の最高性能モデルよりも4.17%向上し、PubMedQAにおいてLLaMA3.1-70Bさえも4.60%上回る性能を示しています。