Transformer 모델을 이용한 단어의 의미 해석 맥락 결정

본 논문에서는 단어의 의미 해석(Word Sense Disambiguation, WSD) 문제를 다룬다. 우리는 2020년 IJCAI에서 개최된 SemDeep 워크숍의 일환으로 진행된 'Word-in-Context 타겟 의미 검증(Word-in-Context Target Sense Verification)' 챌린지에 제출한 시스템을 제시한다(Breit 등, 2020). 이 챌린지는 텍스트 내 특정 단어의 언급이 미리 정의된 의미와 일치하는지를 예측하는 것을 요구한다. 우리 접근법은 BERT와 같은 사전 훈련된 트랜스포머 모델을 사용하며, 다양한 아키텍처 전략을 활용하여 해당 작업에 맞게 미세조정(fine-tuning)한다. 제안하는 모델은 서브태스크 1에서 가장 높은 정확도와 정밀도를 기록하였으며, 이는 문맥 속의 타겟 단어가 주어진 의미와 일치하는지 여부를 결정할 때 정의를 활용하는 데 효과적임을 보여준다. 우리는 이 챌린지에서 탐구한 전략들이 다른 자연어 처리(NLP) 작업에도 유용할 수 있다고 믿는다.