사전 훈련된 문맥 기반 단어 표현을 이용한 개선된 단어의 의미 해석

맥락화된 단어 표현은 동일한 단어에 대해 서로 다른 맥락에서 서로 다른 표현을 제공할 수 있으며, 질문 응답, 명명된 엔티티 인식, 감성 분석과 같은 후속 자연어 처리 작업에서 효과적임이 입증되었다. 그러나 기존 연구에서 단어의 의미 해석(Word Sense Disambiguation, WSD)에 대한 평가 결과에 따르면, 맥락화된 단어 표현을 사용하는 방식이 비맥락화된 단어 임베딩을 활용하는 최신 기술보다 성능이 떨어지는 것으로 나타났다. 본 논문에서는 사전 훈련된 맥락화된 단어 표현을 통합하는 다양한 전략을 탐색하였으며, 가장 효과적인 전략을 도입하여 여러 벤치마크 WSD 데이터셋에서 기존에 발표된 최고 성능을 크게 상회하는 정확도를 달성하였다. 관련 소스 코드는 https://github.com/nusnlp/contextemb-wsd 에 공개되어 있다.