SciFive: 바이오메디컬 문헌을 위한 텍스트-텍스트 변환 모델

본 보고서에서는 대규모 생물의학 문헌을 사전 학습한 도메인 특화 모델인 SciFive를 소개합니다. 본 모델은 명명된 실체 관계(Named Entity Relation), 관계 추출(Relation Extraction), 자연어 추론(Natural Language Inference), 질문-답변(Question-Answering) 등의 작업에서 현재 최신 기술(SOTA) 방법들(즉, BERT, BioBERT, Base T5)보다 우수한 성능을 보입니다. 우리는 텍스트 생성 방법이 특히 더 긴, 복잡한 출력을 요구하는 다양한 생물의학 NLP 작업에서 상당한 잠재력을 가지고 있음을 보여줍니다. 우리의 결과는 더 어려운 텍스트 생성 작업의 탐구와 이 분야에서 새로운 방법들의 개발을 지원합니다.