SciFive: 生物医学文献のためのテキスト対テキスト変換モデル

本報告では、大規模な生物医学コーパスで事前学習されたドメイン固有のT5モデルであるSciFiveを紹介します。当モデルは、名実体関係（named entity relation）、関係抽出（relation extraction）、自然言語推論（natural language inference）、および質問応答（question-answering）などのタスクにおいて、現行の最先端手法（すなわちBERT、BioBERT、Base T5）を上回る性能を示しています。私たちは、テキスト生成手法が長文やより複雑な出力を必要とする広範な生物医学NLPタスクに大きな可能性を持つことを示しています。これらの結果は、より困難なテキスト生成タスクの探求とこの分野における新手法の開発を支持しています。