의료 생물학적 자연어 처리에서의 전이 학습: BERT와 ELMo를 10개 벤치마크 데이터셋으로 평가

일반 언어 이해 평가 벤치마크의 성공에 영감을 받아, 우리는 바이오의학 분야에서 사전 학습된 언어 표현 개발 연구를 촉진하기 위해 바이오의학 언어 이해 평가 (Biomedical Language Understanding Evaluation, BLUE) 벤치마크를 소개합니다. 이 벤치마크는 다양한 데이터셋 크기와 난이도를 가진 바이오의학 및 임상 텍스트를 포함하는 다섯 가지 작업과 열 개의 데이터셋으로 구성됩니다. 또한 BERT와 ELMo 기반의 여러 기준 모델을 평가한 결과, PubMed 초록과 MIMIC-III 임상 노트에서 사전 학습된 BERT 모델이 가장 우수한 성능을 보였습니다. 우리는 데이터셋, 사전 학습된 모델, 그리고 코드를 공개적으로 제공하며, 관련 자료는 https://github.com/ncbi-nlp/BLUE_Benchmark에서 확인할 수 있습니다.