BioGPT: 생물의학 텍스트 생성 및 채굴을 위한 생성형 사전 학습 Transformer

사전 훈련된 언어 모델은 일반 자연어 처리 분야에서의 높은 성공 사례에 영감을 받아 생물의학 분야에서도 점점 더 많은 주목을 받고 있다. 일반 언어 분야의 사전 훈련된 언어 모델의 두 주요 유형인 BERT(및 그 변종)와 GPT(및 그 변종) 중에서, BERT 계열은 생물의학 분야에서 널리 연구되어 왔으며, BioBERT와 PubMedBERT와 같은 모델들이 대표적이다. 이러한 모델들은 다양한 분류형 생물의학 기반 하류 작업에서 뛰어난 성과를 거두었지만, 생성 능력이 부족하여 응용 범위가 제한되고 있다. 본 논문에서는 대규모 생물의학 문헌 데이터를 기반으로 사전 훈련된 도메인 특화 생성형 Transformer 언어 모델인 BioGPT를 제안한다. 우리는 BioGPT를 생물의학 NLP 분야의 여섯 가지 작업에 대해 평가하여, 대부분의 작업에서 기존 모델들을 능가함을 입증하였다. 특히, BC5CDR, KD-DTI, DDI 엔드투엔드 관계 추출 작업에서 각각 44.98%, 38.42%, 40.76%의 F1 스코어를 기록하였으며, PubMedQA에서는 78.2%의 정확도를 달성하여 새로운 기록을 세웠다. 텍스트 생성에 대한 사례 연구를 통해 BioGPT가 생물의학 용어에 대해 자연스럽고 유창한 설명을 생성하는 데 있어 우수한 성능을 보임을 확인하였다. 코드는 https://github.com/microsoft/BioGPT 에서 제공된다.