Ensemble De Données De Référence Du Test De Compétence Médicale Multilingue MMedBench

* Cet ensemble de données prend en charge l'utilisation en ligne.Cliquez ici pour sauter.

MMedBench est un ensemble complet de données de référence de tests de compétence médicale multilingues développé par l'équipe Smart Healthcare de l'École d'intelligence artificielle de l'Université Jiao Tong de Shanghai en 2024.Vers la construction d'un modèle linguistique multilingue pour la médecine". Il vise à évaluer le développement de modèles multilingues dans le domaine médical, couvrant 6 langues et 21 sous-domaines médicaux. Toutes les questions de MMedBench sont directement dérivées de banques de questions d'examen médical dans divers pays, garantissant l'exactitude et la fiabilité de l'évaluation et évitant les biais de compréhension diagnostique causés par les différences dans les directives de pratique médicale dans différents pays.

Le référentiel d’évaluation contient deux dimensions d’évaluation principales : la précision de la sélection et la rationalité de l’explication. Au cours du processus d’évaluation, le modèle doit non seulement choisir la bonne réponse, mais également fournir une explication raisonnable, testant ainsi davantage la capacité du modèle à comprendre et à interpréter des informations médicales complexes. Les statistiques de données de MMedBench montrent les statistiques numériques de base de l'ensemble d'entraînement et de l'ensemble de test, ainsi que la distribution des échantillons sur différents sujets.

L'équipe de recherche a évalué les modèles de langage médical traditionnels sur le benchmark MMedBench, y compris trois stratégies de test : Zero-shot, PEFT Finetuning et Full model Finetuning. Les résultats des tests montrent que le modèle proposé surpasse les modèles open source existants du même niveau dans deux dimensions clés : la précision de la sélection et la rationalité de l'explication, et est comparable à GPT-4. En outre, l’équipe de recherche a également procédé à une évaluation manuelle de la notation, dans laquelle le modèle proposé a été le plus apprécié par les utilisateurs humains.

Le lancement de MMedBench favorise non seulement la recherche de modèles multilingues à grande échelle dans le domaine médical, mais fournit également de nouveaux outils pour la pratique clinique, montrant notamment un grand potentiel pour résoudre les barrières linguistiques et la mondialisation des ressources médicales. Toutes les données et tous les codes ont été rendus open source, favorisant ainsi davantage la collaboration et le partage de technologies au sein de la communauté mondiale de recherche.