L’impact des choix de conception sur les performances des modèles linguistiques biomédicaux a récemment fait l’objet d’une investigation. Dans cet article, nous étudions empiriquement l’adaptation au domaine biomédical à l’aide de grands modèles transformer, en examinant différentes stratégies de conception. Nous évaluons les performances de nos modèles préentraînés par rapport à d’autres modèles linguistiques biomédicaux existants dans la littérature. Nos résultats montrent que nous atteignons des performances de pointe sur plusieurs tâches du domaine biomédical, malgré une consommation de ressources computationnelles similaire ou inférieure à celle des autres modèles décrits dans la littérature. Nos découvertes mettent en évidence l’importance cruciale des choix de conception dans l’amélioration des performances des modèles linguistiques biomédicaux.