特定ドメイン言語モデルの事前学習におけるバイオメディカル自然言語処理への応用

大規模なニューラル言語モデル（例えば、BERT）の事前学習は、多くの自然言語処理（NLP）タスクにおいて印象的な成果をもたらしました。しかし、ほとんどの事前学習の取り組みは、ニュース配信やウェブなどの一般ドメインのコーパスに焦点を当てています。一般的な仮説として、特定ドメインでの事前学習でも、一般ドメインの言語モデルから始めることで恩恵を受けられるという考えがあります。本論文では、この仮説に挑戦し、豊富な未ラベルテキストを持つ領域（例えば、バイオメディカル）では、ゼロから始める事前学習が一般ドメインの言語モデルの継続的な事前学習よりも大幅な改善をもたらすことを示しています。この研究を支援するために、公開データセットから包括的なバイオメディカルNLPベンチマークを作成しました。実験結果は、特定ドメインでの事前学習が広範囲にわたるバイオメディカルNLPタスクの堅固な基盤となり、全体的に新しい最先端の成果を達成することを示しています。さらに、事前学習とタスク固有の微調整に関するモデリング選択肢について徹底的に評価した結果、複雑なタグ付けスキームを使用するなどの一部の一般的な慣行がBERTモデルでは不要であることがわかりました。バイオメディカルNLP分野での研究を加速するため、我々はコミュニティ向けに最先端の事前学習済みモデルとタスク固有のモデルを公開し、「BLURB」ベンチマーク（Biomedical Language Understanding & Reasoning Benchmark の略称）を https://aka.ms/BLURB で提供しています。