2달 전

다국어 모델을 위한 조합적 분산 의미론

Karl Moritz Hermann; Phil Blunsom
다국어 모델을 위한 조합적 분산 의미론
초록

우리는 의미 표현을 학습하기 위한 새로운 기술을 제시합니다. 이 기술은 분포 가설을 다국어 데이터와 공동 공간 임베딩으로 확장합니다. 우리의 모델들은 평행 데이터를 활용하여 의미적으로 동일한 문장의 임베딩을 강하게 일치시키면서, 유사하지 않은 문장들의 임베딩 간에는 충분한 거리를 유지하도록 학습됩니다. 이 모델들은 단어 일치나 구문 정보에 의존하지 않으며, 다양한 언어들에 성공적으로 적용되었습니다. 또한, 우리는 이 접근법을 문서 수준에서의 의미 표현 학습에도 확장하였습니다. 이러한 모델들을 두 가지 크로스-링갈 문서 분류 작업에서 평가하였으며, 기존 최신 연구를 능가하는 결과를 얻었습니다. 질적 분석과 피봇 효과(Pivoting Effects) 연구를 통해 우리의 표현이 의미적으로 타당하며, 평행 데이터 없이도 언어 간의 의미 관계를 포착할 수 있음을 입증하였습니다.

다국어 모델을 위한 조합적 분산 의미론 | 최신 연구 논문 | HyperAI초신경