다국어 문맥 단어 임베딩의 정렬 및 제로샷 의존성 분석에의 응용

우리는 감독되지 않은 방식으로 사전 학습된 깊은 문맥 임베딩을 활용한 새로운 다국어 전이 방법을 소개합니다. 문맥 임베딩은 정적 대응물보다 더 풍부한 의미 표현을 제공하는 것으로 알려져 있지만, 그 동적인 특성 때문에 일치시키는 것이 어려운 문제를 제기합니다. 이를 해결하기 위해, 우리는 원래 단일 언어 공간의 문맥 독립 변형을 구성하고 이들의 매핑을 이용하여 문맥 종속 공간의 일치를 도출합니다. 이 매핑은 목표 언어 처리를 지원하여 문맥 인식 임베딩에 의한 전이를 개선합니다. 우리의 실험 결과는 이 접근법이 의존성 구문 분석의 제로샷 및 소수 샷 학습에서 효과적임을 입증합니다. 특히, 우리 방법은 6개 시험 언어에서 기존 최고 수준의 성능을 일관되게 능가하며, 평균적으로 6.8 LAS 포인트의 개선 효과를 보였습니다.