2달 전

더 나은 치환 기반 단어 의미 유도를 위해

Asaf Amrami; Yoav Goldberg
더 나은 치환 기반 단어 의미 유도를 위해
초록

단어 의미 유도(Word Sense Induction, WSI)는 문장 내에서 단어 사용을 비지도 방식으로 군집화하여 의미를 구분하는 작업입니다. 최근 연구에서는 사전 훈련된 RNN 언어 모델(ELMo)에서 파생된 어휘 대체항을 군집화하여 강력한 결과를 얻었습니다. 이 방법을 BERT에 적용하면 점수가 더욱 개선됩니다. 우리는 이전 방법을 확장하여 다른 주요 방법과 마찬가지로 고정된 수의 군집이 아닌 동적인 수의 군집을 지원하도록 하였으며, 각 군집을 가장 정보량이 많은 대체항과 연관시키는 해석 방법을 제안합니다. 그런 다음 WSI 작업에서 아직 남아 있는 오류의 원인을 밝히기 위해 광범위한 오류 분석을 수행하였습니다.우리의 코드는 https://github.com/asafamr/bertwsi에서 확인할 수 있습니다.

더 나은 치환 기반 단어 의미 유도를 위해 | 최신 연구 논문 | HyperAI초신경