مستوحدين من نجاح معيار تقييم الفهم اللغوي العام (GLUE)، نقدم معيار تقييم الفهم اللغوي الطبي الحيوي (BLUE) لتسهيل البحث في تطوير تمثيلات اللغة المسبقة التدريب في مجال البيولوجيا الطبية. يتكون هذا المعيار من خمسة مهام مع عشرة مجموعات بيانات تغطي النصوص الطبية الحيوية والسريرية بحجم وصعوبة مختلفين للمجموعات. كما قمنا بتقييم عدة نقاط بداية تعتمد على نموذجي BERT وELMo، واكتشفنا أن نموذج BERT المسبق التدريب على ملخصات PubMed وملاحظات MIMIC-III السريرية حقق أفضل النتائج. نجعل البيانات والموديلات المسبقة التدريب والرموز متاحة للجمهور على الرابط https://github.com/ncbi-nlp/BLUE_Benchmark.