BioM-Transformers: BERT, ALBERT 및 ELECTRA를 활용한 대규모 생물의학적 언어 모델 구축

최근 들어 생물의학 분야 언어 모델의 성능에 미치는 설계 선택의 영향에 대한 연구가 활발히 진행되고 있다. 본 논문에서는 다양한 설계 선택을 활용하여 대규모 트랜스포머 모델을 이용한 생물의학 도메인 적응을 실험적으로 탐구한다. 또한, 기존 문헌에 존재하는 다른 생물의학 언어 모델들과 비교하여 사전 훈련된 모델의 성능을 평가한다. 결과적으로, 본 연구에서는 기존 모델들과 유사하거나 더 낮은 계산 비용을 사용함에도 불구하고 여러 생물의학 도메인 작업에서 최신 기준(SOTA) 성능을 달성함을 확인하였다. 본 연구의 발견은 설계 선택이 생물의학 언어 모델의 성능 향상에 미치는 중요한 영향을 강조한다.