Inspirationnée par le succès de la norme d'évaluation de la compréhension générale des langues (GLUE), nous présentons la norme d'évaluation de la compréhension linguistique biomédicale (BLUE) pour faciliter les recherches sur le développement de représentations linguistiques pré-entraînées dans le domaine biomédical. Cette norme comprend cinq tâches avec dix ensembles de données couvrant à la fois des textes biomédicaux et cliniques, de différentes tailles et difficultés. Nous évaluons également plusieurs modèles de référence basés sur BERT et ELMo, et constatons que le modèle BERT pré-entraîné sur les résumés PubMed et les notes cliniques MIMIC-III obtient les meilleurs résultats. Les ensembles de données, les modèles pré-entraînés et les codes sont rendus publiquement disponibles sur https://github.com/ncbi-nlp/BLUE_Benchmark.