General Language Understanding Evaluation ベンチマークの成功に触発され、生物医学分野における事前学習言語表現の開発研究を促進するため、Biomedical Language Understanding Evaluation (BLUE) ベンチマークを導入しました。このベンチマークは、生物医学および臨床テキストを対象とし、異なるデータセットサイズや難易度を持つ5つのタスクと10のデータセットで構成されています。また、BERT および ELMo を基にしたいくつかのベースラインモデルを評価し、PubMed の抄録と MIMIC-III の臨床記録で事前学習された BERT モデルが最良の結果を達成することを見出しました。データセット、事前学習済みモデル、およびコードは公開されており、https://github.com/ncbi-nlp/BLUE_Benchmark からアクセスできます。