3달 전

단어의 의미 해석의 긴 꼬리 부분을 글로스 정보를 활용한 이중 인코더로 탐색하기

{Luke Zettlemoyer, Terra Blevins}
단어의 의미 해석의 긴 꼬리 부분을 글로스 정보를 활용한 이중 인코더로 탐색하기
초록

의미 맥락 해석(WSD)에서의 주요 장애물은 단어의 의미가 균일하게 분포하지 않기 때문에, 기존 모델은 훈련 과정에서 드물게 나타나거나 등장하지 않은 의미에 대해 일반적으로 낮은 성능을 보인다는 점이다. 본 연구에서는 (1) 대상 단어와 그 주변 맥락을 독립적으로 임베딩하고, (2) 각 의미에 해당하는 사전 정의(gloss)를 별도로 임베딩하는 이중 인코더(bi-encoder) 모델을 제안한다. 두 인코더는 동일한 표현 공간 내에서 공동 최적화되며, 이로 인해 각 대상 단어의 임베딩에 대해 가장 가까운 의미 임베딩을 탐색함으로써 의미 맥락 해석을 수행할 수 있다. 제안하는 시스템은 영어 전체 단어에 대한 WSD에서 기존 최고 성능 모델을 초월하며, 특히 드문 의미에 대한 성능 향상이 주요 원인으로, 이전 연구 대비 드문 의미에 대해 31.1%의 오류 감소를 달성하였다. 이는 의미의 정의를 모델링함으로써 드문 의미를 보다 효과적으로 해석할 수 있음을 보여준다.

단어의 의미 해석의 긴 꼬리 부분을 글로스 정보를 활용한 이중 인코더로 탐색하기 | 연구 논문 | HyperAI초신경