MedMobile : un modèle de langage de taille mobile offrant des capacités cliniques de niveau expert

Les modèles linguistiques (LM) ont fait preuve de capacités de raisonnement et de mémorisation au niveau d’expert en médecine. Toutefois, les coûts computationnels et les préoccupations liées à la vie privée constituent des obstacles croissants à leur déploiement à grande échelle. Nous introduisons une adaptation parcimonieuse de phi-3-mini, appelée MedMobile, un modèle linguistique de 3,8 milliards de paramètres capable de fonctionner directement sur un appareil mobile, dédié aux applications médicales. Nous démontrons que MedMobile obtient un score de 75,7 % sur le test MedQA (USMLE), dépassant ainsi la barre de réussite pour les médecins (~60 %) et s’approchant des performances des modèles cent fois plus volumineux. Nous menons ensuite une série de tests d’ablation soigneux, et montrons que la chaîne de raisonnement, l’ensemblage et le fine-tuning génèrent les gains de performance les plus importants, tandis que, de manière inattendue, la génération augmentée par récupération ne parvient pas à apporter d’améliorations significatives.