事前学習された言語モデルは、一般自然言語処理分野における顕著な成功に触発され、生物医学分野においても注目を集めている。一般言語領域における事前学習言語モデルの二大アプローチ、すなわちBERT（およびその派生モデル）とGPT（およびその派生モデル）のうち、前者は生物医学分野において広く研究されており、BioBERTやPubMedBERTなどが代表例である。これらのモデルは、さまざまな判別型の生物医学下流タスクにおいて優れた成果を上げているが、生成能力の欠如により応用範囲が制限されている。本論文では、大規模な生物医学文献データ上で事前学習されたドメイン特化型の生成型Transformer言語モデル「BioGPT」を提案する。我々は、BioGPTを6つの生物医学NLPタスクにおいて評価し、多数のタスクで既存モデルを上回ることを実証した。特に、BC5CDR、KD-DTI、DDIのエンドツーエンド関係抽出タスクにおいて、それぞれF1スコア44.98%、38.42%、40.76%を達成し、PubMedQAでは78.2%の精度を記録し、新たな記録を樹立した。テキスト生成に関するケーススタディを通じて、BioGPTが生物医学用語に対して自然で読みやすい記述を生成する能力の優位性も示した。コードはGitHubにて公開されている：https://github.com/microsoft/BioGPT。