BioMistral : Une collection de modèles linguistiques pré-entraînés open-source pour les domaines médicaux

Les modèles linguistiques à grande échelle (LLM) ont fait preuve d'une versatilité remarquable ces dernières années, offrant des applications potentielles dans des domaines spécialisés tels que la santé et la médecine. Malgré la disponibilité de nombreux LLM open-source adaptés aux contextes médicaux, l'adaptation des LLM généraux au domaine médical soulève des défis importants. Dans ce travail, nous introduisons BioMistral, un modèle linguistique à grande échelle open-source spécifiquement conçu pour le domaine biomédical, fondé sur Mistral et pré-entraîné ultérieurement sur PubMed Central. Nous menons une évaluation complète de BioMistral sur une base de référence comprenant 10 tâches établies de réponse à des questions médicales en anglais. Nous explorons également des modèles légers obtenus par des approches de quantification et de fusion de modèles. Nos résultats démontrent que BioMistral surpasse les modèles médicaux open-source existants et se positionne de manière compétitive face aux modèles propriétaires. Enfin, afin de répondre à la limitation des données disponibles au-delà de l'anglais et d'évaluer la généralisation multilingue des LLM médicaux, nous avons traduit automatiquement cette base de référence en sept autres langues et l'avons évaluée. Il s'agit du premier évaluation à grande échelle des LLM dans le domaine médical à l'échelle multilingue. Les jeux de données, les bases d'évaluation multilingues, les scripts ainsi que tous les modèles obtenus au cours de nos expériences sont publiés librement.