要約
文書表現から特性を予測するように教師付きで学習させたモデルは、さまざまなタスクにおいて高い精度を達成している。例えば、BERTファミリーはNERタグ付けをはじめとする多様な言語処理タスクにおいて特に優れた性能を発揮している。しかし、医療分野で用いられる語彙には、疾患名、医療機器、生物種、薬剤など、医療業界に特有のトークンが多数含まれており、これにより従来のBERTモデルが文脈依存的な埋め込み表現（contextualized embedding）を適切に生成することが困難になる。本論文では、Bio-BERTを基盤とした命名エンティティタギング（Named Entity Tagging）システムの構築と評価を示す。実験の結果、提案モデルはベースラインモデルに対して顕著な性能向上を示し、F1スコアでは第4位、リコールでは第1位という成績を収めた。なお、最高スコアからわずか2.21の差にとどまり、非常に高い性能を実現した。