* Cet ensemble de données prend en charge l'utilisation en ligne.Cliquez ici pour sauter.

MedCalc-Bench est un ensemble de données spécialement conçu pour évaluer les capacités de calcul médical des grands modèles de langage (LLM). Il a été publié conjointement en 2024 par neuf institutions, dont la Bibliothèque nationale de médecine, les National Institutes of Health et l'Université de Virginie. Les résultats pertinents de l'article sont «MEDCALC-BENCH : Évaluation de grands modèles de langage pour les calculs médicaux", a été accepté par NeurIPS 2024.

Cet ensemble de données contient 10 055 instances de formation et 1 047 instances de test, couvrant 55 tâches de calcul différentes. Chaque exemple comprend les notes du patient, une question pour calculer une valeur clinique spécifique, la valeur de réponse finale et une solution étape par étape. L'objectif de MedCalc-Bench est d'améliorer les compétences de raisonnement verbal et informatique des LLM dans un contexte médical.

Les fonctionnalités de l'ensemble de données incluent le numéro de ligne, l'ID de la calculatrice, le nom de la calculatrice, la catégorie, le type de sortie, l'ID de la note, le type de note, la note du patient, la question, l'entité associée, la réponse de vérité fondamentale, la limite inférieure, la limite supérieure et l'explication de la vérité fondamentale. Ces fonctionnalités fournissent au modèle des informations contextuelles riches pour un calcul et un raisonnement précis. L'ensemble de données est divisé en ensembles de formation et de test, qui peuvent être utilisés pour affiner les LLM afin d'améliorer leurs performances dans les tâches informatiques médicales.