‘No’은 ‘No’를 의미한다; 내재된 추측적 맥락을 가진 비적절한 모델링 접근 방식

동기: 의료 데이터는 기록에 나타나는 용어들이 일반적으로 다양한 맥락에서 등장하기 때문에 본질적으로 복잡하다. 본 논문에서는 BioBERT, BioELECTRA, PubMedBERT와 같은 다양한 생물의학 모델들이 '부정 및 추측 맥락'을 이해하는 능력을 조사하였다. 그 결과, 이러한 모델들이 '부정된 맥락'과 '부정되지 않은 맥락'을 구분하지 못하는 것으로 나타났다. 모델의 이해 수준을 측정하기 위해, 부정된 문장 임베딩과 부정되지 않은 문장 임베딩 쌍 간의 코사인 유사도 점수를 사용하였다. 이러한 모델의 성능을 향상시키기 위해, 합성 데이터셋을 활용하여 '부정 및 추측 맥락'에 대한 임베딩을 강화하는 일반적인 슈퍼튜닝( super-tuning) 방식을 제안한다.결과: 슈퍼튜닝을 거친 후 모델의 임베딩이 부정 및 추측 맥락을 훨씬 더 잘 이해하는 것을 확인할 수 있었다. 또한, 슈퍼튜닝된 모델을 다양한 작업에 대해 미세조정(fine-tuning)한 결과, 기존 모델들을 능가하며 BioScope 추상문 및 Sherlock 데이터셋에서 부정 탐지, 추측 신호(cue) 탐지, 범위(scope) 탐지 과제에서 최신 기준(SOTA, state-of-the-art) 성능을 달성하였다. 더불어 슈퍼튜닝 이후 자연어 추론(Natural Language Inference)과 같은 다른 작업들에서 모델 성능에 거의 영향을 주지 않는 매우 낮은 희생(Trade-off)이 있음을 확인하였다.