2달 전

비지도 신경 기계 번역

Mikel Artetxe; Gorka Labaka; Eneko Agirre; Kyunghyun Cho
비지도 신경 기계 번역
초록

최근 신경망 기계 번역(Neural Machine Translation, NMT)이 표준 벤치마크에서 성공을 거두었음에도 불구하고, 많은 언어 쌍에 대해 대규모 병렬 말뭉치의 부족은 여전히 실질적인 문제를 제기하고 있습니다. 이 문제를 완화하기 위해 삼각화(triangulation) 및 준감독 학습(semi-supervised learning) 기술 등 여러 제안이 있었지만, 여전히 강력한 다국어 간 신호(cross-lingual signal)가 필요합니다. 본 연구에서는 병렬 데이터의 필요성을 완전히 제거하고, 단일 언어 말뭉치만을 이용하여 완전히 비지도 방식으로 NMT 시스템을 훈련시키는 새로운 방법을 제안합니다. 우리의 모델은 최근 비지도 임베딩 매핑(unsupervised embedding mappings) 연구를 바탕으로 하며, 노이즈 제거(denoising)와 역번역(backtranslation) 기법의 조합을 사용하여 단일 언어 말뭉치만으로 훈련할 수 있는 약간 수정된 주목력(attentional) 인코더-디코더 모델로 구성됩니다. 이 접근 방식의 단순함에도 불구하고, 우리 시스템은 WMT 2014 프랑스어-영어 및 독일어-영어 번역에서 각각 15.56점과 10.21점의 BLEU 점수를 얻었습니다. 또한 작은 규모의 병렬 말뭉치에서도 이점을 얻을 수 있으며, 10만 개의 병렬 문장과 결합할 때 각각 21.81점과 15.24점의 BLEU 점수를 달성했습니다. 우리의 구현은 오픈 소스 프로젝트로 공개되었습니다.