要約
バイオメディカル科学文献の膨大な量は、広範囲のバイオメディカル自然言語処理（NLP）タスクに対応できる効果的な言語モデルの開発を必要としています。最近の主流アプローチは、一般領域のテキストデータで初期化された後、さまざまな科学コーパスで学習するドメイン固有のモデルです。しかし、大規模なコーパスが存在する専門分野では、ドメイン内知識のみを使用してモデルをゼロから学習させた方が良い結果をもたらすことが観察されています。さらに、事前学習の計算コストに対する関心が高まっていることから、ELECTRAなどのより効率的なアーキテクチャが設計されました。本論文では、バイオメディカル分野に適した事前学習済みドメイン固有の言語モデルであるELECTRAMedを提案します。この新しいアプローチは、一般領域向けELECTRAアーキテクチャの学習フレームワークとその計算上の利点を受け継いでいます。複数のバイオメディカルNLPタスク用ベンチマークデータセットでの実験結果は、ELECTRAMedの有用性を支持しており、BC5CDRコーパスにおける固有名詞認識において新たな最先端結果を達成し、第7回BioASQ-ファクトイド・チャレンジにおける質問応答タスクで5回中2回最良の結果を提供しています。