Context-to-Vector와 그래프 리트로핏팅을 활용한 단어 임베딩 개선

대규모 사전 학습 모델에서 생성된 문맥화된 임베딩이 많은 작업에서 우수한 성능을 보이는 반면, 전통적인 정적 임베딩(예: Skip-gram, Word2Vec)은 계산 비용이 낮고 배포가 용이하며 안정성이 뛰어나기 때문에 저자원 및 경량 환경에서 여전히 중요한 역할을 합니다. 본 논문에서는 1) 기존의 사전 학습 모델로부터 더 많은 문맥 정보를 Skip-gram 프레임워크에 통합하여 Context-to-Vec이라고 명명한 방법과 2) 훈련과 독립적으로 사전 동의어 지식과 가중 벡터 분포를 활용하는 정적 임베딩의 후처리 리트로핏팅(post-processing retrofitting) 방법을 제안하여 단어 임베딩을 개선하고자 합니다. 외부적 및 내부적 작업을 통해 우리의 방법들이 기준 모델(baselines)보다 크게 우수함이 입증되었습니다.