※本データセットはオンライン利用に対応しておりますが、ここをクリックしてジャンプしてください。

MedCalc-Bench は、大規模言語モデル (LLM) の医療コンピューティング機能を評価するために特別に設計されたデータセットで、国立医学図書館、国立衛生研究所、バージニア大学) と他の 9 機関が共同でリリースします。それは 2024 年に予定されており、関連する論文結果は「MEDCALC-BENCH: 医療計算用の大規模言語モデルの評価」が NeurIPS 2024 に採択されました。

このデータ セットには、55 の異なるコンピューティング タスクをカバーする 10,055 のトレーニング インスタンスと 1,047 のテスト インスタンスが含まれています。各例には、患者のメモ、特定の臨床値を計算する質問、最終的な回答値、および段階的な解決策が含まれています。 MedCalc-Bench の目的は、医療現場における LLM の言語的および計算的推論能力を向上させることです。

データセットの特徴には、行番号、計算機 ID、計算機名、カテゴリ、出力タイプ、メモ ID、メモ タイプ、患者メモ、質問、関連エンティティ、真の回答、下限、上限、および真の説明が含まれます。これらの機能は、正確な計算と推論のための豊富なコンテキスト情報をモデルに提供します。データセットはトレーニング セットとテスト セットに分割されており、LLM を微調整して医療コンピューティング タスクのパフォーマンスを向上させるために使用できます。