문장 기반 및 신경망 비지도 학습 기계 번역

기계 번역 시스템은 일부 언어에서 인간 수준에 가까운 성능을 달성하지만, 그 효과는 대규모 병렬 문장의 존재에 크게 의존하여 대부분의 언어 쌍에 대한 적용을 방해합니다. 본 연구에서는 각 언어의 대규모 단일 언어 말뭉치에만 접근할 수 있는 상황에서 번역을 학습하는 방법을 조사합니다. 우리는 신경망 기반 모델과 구문 기반 모델 두 가지 변형을 제안합니다. 두 버전 모두 매개변수의 신중한 초기화, 언어 모델의 노이즈 제거 효과, 그리고 반복적인 역번역을 통한 병렬 데이터의 자동 생성을 활용합니다. 이러한 모델들은 문헌에서 제시된 방법들보다 훨씬 우수하며, 더 간단하고 하이퍼파라미터가 적습니다. 널리 사용되는 WMT'14 영어-프랑스어 및 WMT'16 독일어-영어 벤치마크에서 우리의 모델은 단 하나의 병렬 문장을 사용하지 않고 각각 28.1 및 25.2 BLEU 점수를 얻었으며, 최신 기술보다 11 BLEU 점수 이상 뛰어납니다. 영어-우르두어와 영어-루마니아어와 같은 저자원 언어에서도 우리의 방법은 이용 가능한 소량의 병렬 텍스트를 활용하는 준감독 및 감독 접근법보다 더 좋은 결과를 얻었습니다. 우리의 NMT(Neural Machine Translation) 및 PBSMT(Phrase-Based Statistical Machine Translation) 코드는 공개적으로 이용 가능합니다.