MedCalc-Bench は、大規模言語モデル (LLM) の医療コンピューティング機能を評価するために特別に設計されたデータセットで、国立医学図書館、国立衛生研究所、バージニア大学) と他の 9 機関が共同でリリースします。それは 2024 年に予定されており、関連する論文結果は「MEDCALC-BENCH: 医療計算用の大規模言語モデルの評価」が NeurIPS 2024 に採択されました。 このデータ セットには、55 の異なるコンピューティング タスクをカバーする 10,055 のトレーニング インスタンスと 1,047 のテスト インスタンスが含まれています。各例には、患者のメモ、特定の臨床値を計算する質問、最終的な回答値、および段階的な解決策が含まれています。 MedCalc-Bench の目的は、医療現場における LLM の言語的および計算的推論能力を向上させることです。 データセットの特徴には、行番号、計算機 ID、計算機名、カテゴリ、出力タイプ、メモ ID、メモ タイプ、患者メモ、質問、関連エンティティ、真の回答、下限、上限、および真の説明が含まれます。これらの機能は、正確な計算と推論のための豊富なコンテキスト情報をモデルに提供します。データセットはトレーニング セットとテスト セットに分割されており、LLM を微調整して医療コンピューティング タスクのパフォーマンスを向上させるために使用できます。

引用

@misc{khandekar2024medcalcbench,
title={MedCalc-Bench: Evaluating Large Language Models for Medical Calculations},
author={Nikhil Khandekar and Qiao Jin and Guangzhi Xiong and Soren Dunn and Serina S Applebaum and Zain Anwar and Maame Sarfo-Gyamfi and Conrad W Safranek and Abid A Anwar and Andrew Zhang and Aidan Gilson and Maxwell B Singer and Amisha Dave and Andrew Taylor and Aidong Zhang and Qingyu Chen and Zhiyong Lu},
year={2024},
eprint={2406.12036},
archivePrefix={arXiv},
primaryClass={id='cs.CL' full_name='Computation and Language' is_active=True alt_name='cmp-lg' in_archive='cs' is_general=False description='Covers natural language processing. Roughly includes material in ACM Subject Class I.2.7. Note that work on artificial languages (programming languages, logics, formal systems) that does not explicitly address natural-language issues broadly construed (natural-language processing, computational linguistics, speech, text retrieval, etc.) is not appropriate for this area.'}
}