18일 전
Saama Research, MEDIQA 2019: 의료 자연어 추론을 위한 주석 시각화 기능을 갖춘 사전 훈련된 BioBERT
{Suriyadeepan Ramamoorthy, Soham Chatterjee, Malaikannan Sankarasubbu, Kamal raj Kanakarajan, Vaidheeswaran Archana}

초록
자연어 추론(Natural Language Inference, NLI)은 두 문장 간의 관계를 함의(entailment), 모순(contradiction), 중립(neutrality)로 식별하는 작업이다. MedNLI는 임상 분야를 대상으로 한 생물의학적 NLI의 한 형태이다. 본 논문은 변환기(Transformer) 기반의 양방향 인코더 표현(Bidirectional Encoder Representations from Transformer, BERT)을 활용하여 MedNLI 문제를 해결하는 방안을 탐구한다. 본 연구에서 제안하는 모델은 PMC와 PubMed에서 사전 훈련된 BERT를 MIMIC-III v1.4 데이터셋에서 미세 조정(fine-tuning)한 것으로, MedNLI에서 최신 기술 수준의 성능(83.45%)을 달성하였으며, MEDIQA 챌린지에서는 78.5%의 정확도를 기록하였다. 저자들은 bertviz라는 시각화 도구를 활용하여 MedNLI에서 BERT를 훈련시킨 후 나타난 주의력(attention) 패턴에 대한 분석을 제시한다.