MedCalc-Bench عبارة عن مجموعة بيانات مصممة خصيصًا لتقييم قدرات الحوسبة الطبية للنماذج اللغوية الكبيرة (LLMs). تم إصداره بشكل مشترك في عام 2024 من قبل تسع مؤسسات بما في ذلك المكتبة الوطنية للطب والمعاهد الوطنية للصحة وجامعة فيرجينيا. "نتائج الورقة ذات الصلة هي"MEDCALC-BENCH: تقييم نماذج اللغة الكبيرة للحسابات الطبية"، تم قبولها بواسطة NeurIPS 2024. تحتوي مجموعة البيانات هذه على 10,055 حالة تدريب و1,047 حالة اختبار، تغطي 55 مهمة حسابية مختلفة. يتضمن كل مثال ملاحظات المريض، وسؤالاً لحساب قيمة سريرية محددة، وقيمة الإجابة النهائية، وحلاً خطوة بخطوة. يهدف برنامج MedCalc-Bench إلى تحسين مهارات التفكير اللفظي والحسابي لحاملي شهادة الماجستير في القانون في البيئة الطبية. تتضمن ميزات مجموعة البيانات رقم الصف، ومعرف الآلة الحاسبة، واسم الآلة الحاسبة، والفئة، ونوع الإخراج، ومعرف الملاحظة، ونوع الملاحظة، وملاحظة المريض، والسؤال، والكيان ذي الصلة، وإجابة الحقيقة الأساسية، والحد الأدنى، والحد الأعلى، وشرح الحقيقة الأساسية. توفر هذه الميزات للنموذج معلومات سياقية غنية للحساب والاستدلال الدقيق. تنقسم مجموعة البيانات إلى مجموعات تدريب واختبار، والتي يمكن استخدامها لضبط برامج LLM لتحسين أدائها في مهام الحوسبة الطبية.

الاستشهاد

@misc{khandekar2024medcalcbench,
title={MedCalc-Bench: Evaluating Large Language Models for Medical Calculations},
author={Nikhil Khandekar and Qiao Jin and Guangzhi Xiong and Soren Dunn and Serina S Applebaum and Zain Anwar and Maame Sarfo-Gyamfi and Conrad W Safranek and Abid A Anwar and Andrew Zhang and Aidan Gilson and Maxwell B Singer and Amisha Dave and Andrew Taylor and Aidong Zhang and Qingyu Chen and Zhiyong Lu},
year={2024},
eprint={2406.12036},
archivePrefix={arXiv},
primaryClass={id='cs.CL' full_name='Computation and Language' is_active=True alt_name='cmp-lg' in_archive='cs' is_general=False description='Covers natural language processing. Roughly includes material in ACM Subject Class I.2.7. Note that work on artificial languages (programming languages, logics, formal systems) that does not explicitly address natural-language issues broadly construed (natural-language processing, computational linguistics, speech, text retrieval, etc.) is not appropriate for this area.'}
}