要約
最近、医療分野における言語モデルの性能に及ぼす設計選択の影響が、調査の対象となっている。本論文では、大規模トランスフォーマーモデルを用いて、異なる設計選択に基づく医療分野への適応について実証的に検討する。我々は、既存の医療分野言語モデルと比較して、事前学習済みモデルの性能を評価した。その結果、他の研究で報告されたモデルと比較して、同等またはより少ない計算コストで、いくつかの医療分野タスクにおいて最先端の性能を達成した。これらの結果は、設計選択が医療分野言語モデルの性能向上に著しい影響を及ぼすことを示している。