MedCalc-Bench ist ein Datensatz, der speziell für die Bewertung der medizinischen Rechenkapazitäten großer Sprachmodelle (LLMs) entwickelt wurde. Es wurde 2024 gemeinsam von neun Institutionen veröffentlicht, darunter der National Library of Medicine, den National Institutes of Health und der University of Virginia. Die relevanten Papierergebnisse sind "MEDCALC-BENCH: Evaluierung großer Sprachmodelle für medizinische Berechnungen", wurde von NeurIPS 2024 angenommen. Dieser Datensatz enthält 10.055 Trainingsinstanzen und 1.047 Testinstanzen, die 55 verschiedene Rechenaufgaben abdecken. Jedes Beispiel enthält die Notizen des Patienten, eine Frage zur Berechnung eines bestimmten klinischen Werts, den endgültigen Antwortwert und eine schrittweise Lösung. Der Zweck von MedCalc-Bench besteht darin, die verbalen und rechnerischen Denkfähigkeiten von LLMs im medizinischen Umfeld zu verbessern. Zu den Merkmalen des Datensatzes gehören Zeilennummer, Rechner-ID, Rechnername, Kategorie, Ausgabetyp, Notiz-ID, Notiztyp, Patientennotiz, Frage, zugehörige Entität, Ground-Truth-Antwort, Untergrenze, Obergrenze und Ground-Truth-Erklärung. Diese Funktionen liefern dem Modell umfassende Kontextinformationen für genaue Berechnungen und Schlussfolgerungen. Der Datensatz ist in Trainings- und Testsätze unterteilt, die zur Feinabstimmung von LLMs verwendet werden können, um ihre Leistung bei medizinischen Computeraufgaben zu verbessern.

Zitat

@misc{khandekar2024medcalcbench,
title={MedCalc-Bench: Evaluating Large Language Models for Medical Calculations},
author={Nikhil Khandekar and Qiao Jin and Guangzhi Xiong and Soren Dunn and Serina S Applebaum and Zain Anwar and Maame Sarfo-Gyamfi and Conrad W Safranek and Abid A Anwar and Andrew Zhang and Aidan Gilson and Maxwell B Singer and Amisha Dave and Andrew Taylor and Aidong Zhang and Qingyu Chen and Zhiyong Lu},
year={2024},
eprint={2406.12036},
archivePrefix={arXiv},
primaryClass={id='cs.CL' full_name='Computation and Language' is_active=True alt_name='cmp-lg' in_archive='cs' is_general=False description='Covers natural language processing. Roughly includes material in ACM Subject Class I.2.7. Note that work on artificial languages (programming languages, logics, formal systems) that does not explicitly address natural-language issues broadly construed (natural-language processing, computational linguistics, speech, text retrieval, etc.) is not appropriate for this area.'}
}