要約
自然言語処理（NLP）分野における事前学習戦略の最近の進展により、さまざまなテキストマイニングタスクにおけるモデル性能が顕著に向上している。本研究では、ELECTRAで提案された「置換トークン検出（replaced token detection）」という事前学習手法を採用し、生物医学分野のテキストと語彙から完全に新規に生物医学言語モデルを事前学習した。これにより、生物医学分野に特化した言語エンコーダモデル「BioELECTRA」を構築した。本モデルは、BLURBおよびBLUEという生物医学NLPベンチマークにおいて評価された。その結果、BioELECTRAは従来のモデルを上回り、BLURBベンチマークの全13データセットおよびBLUEベンチマークの全4つの臨床関連データセットにおいて、7つの異なるNLPタスクでSOTA（最新の最良性能）を達成した。特に、PubMedおよびPMCの全文記事を用いて事前学習されたBioELECTRAは、臨床データセットにおいても優れた性能を示した。MedNLIデータセットでは86.34%（1.39%の精度向上）という新たなSOTAを達成し、PubMedQAデータセットでは64%（2.98%の精度向上）の結果を記録した。