MedCalc-Bench ist ein Datensatz, der speziell für die Bewertung der medizinischen Rechenkapazitäten großer Sprachmodelle (LLMs) entwickelt wurde. Es wurde 2024 gemeinsam von neun Institutionen veröffentlicht, darunter der National Library of Medicine, den National Institutes of Health und der University of Virginia. Die relevanten Papierergebnisse sind "MEDCALC-BENCH: Evaluierung großer Sprachmodelle für medizinische Berechnungen", wurde von NeurIPS 2024 angenommen.

Dieser Datensatz enthält 10.055 Trainingsinstanzen und 1.047 Testinstanzen, die 55 verschiedene Rechenaufgaben abdecken. Jedes Beispiel enthält die Notizen des Patienten, eine Frage zur Berechnung eines bestimmten klinischen Werts, den endgültigen Antwortwert und eine schrittweise Lösung. Der Zweck von MedCalc-Bench besteht darin, die verbalen und rechnerischen Denkfähigkeiten von LLMs im medizinischen Umfeld zu verbessern.

Zu den Merkmalen des Datensatzes gehören Zeilennummer, Rechner-ID, Rechnername, Kategorie, Ausgabetyp, Notiz-ID, Notiztyp, Patientennotiz, Frage, zugehörige Entität, Ground-Truth-Antwort, Untergrenze, Obergrenze und Ground-Truth-Erklärung. Diese Funktionen liefern dem Modell umfassende Kontextinformationen für genaue Berechnungen und Schlussfolgerungen. Der Datensatz ist in Trainings- und Testsätze unterteilt, die zur Feinabstimmung von LLMs verwendet werden können, um ihre Leistung bei medizinischen Computeraufgaben zu verbessern.