MedCalc-Bench عبارة عن مجموعة بيانات مصممة خصيصًا لتقييم قدرات الحوسبة الطبية للنماذج اللغوية الكبيرة (LLMs). تم إصداره بشكل مشترك في عام 2024 من قبل تسع مؤسسات بما في ذلك المكتبة الوطنية للطب والمعاهد الوطنية للصحة وجامعة فيرجينيا. "نتائج الورقة ذات الصلة هي"MEDCALC-BENCH: تقييم نماذج اللغة الكبيرة للحسابات الطبية"، تم قبولها بواسطة NeurIPS 2024.

تحتوي مجموعة البيانات هذه على 10,055 حالة تدريب و1,047 حالة اختبار، تغطي 55 مهمة حسابية مختلفة. يتضمن كل مثال ملاحظات المريض، وسؤالاً لحساب قيمة سريرية محددة، وقيمة الإجابة النهائية، وحلاً خطوة بخطوة. يهدف برنامج MedCalc-Bench إلى تحسين مهارات التفكير اللفظي والحسابي لحاملي شهادة الماجستير في القانون في البيئة الطبية.

تتضمن ميزات مجموعة البيانات رقم الصف، ومعرف الآلة الحاسبة، واسم الآلة الحاسبة، والفئة، ونوع الإخراج، ومعرف الملاحظة، ونوع الملاحظة، وملاحظة المريض، والسؤال، والكيان ذي الصلة، وإجابة الحقيقة الأساسية، والحد الأدنى، والحد الأعلى، وشرح الحقيقة الأساسية. توفر هذه الميزات للنموذج معلومات سياقية غنية للحساب والاستدلال الدقيق. تنقسم مجموعة البيانات إلى مجموعات تدريب واختبار، والتي يمكن استخدامها لضبط برامج LLM لتحسين أدائها في مهام الحوسبة الطبية.