초록
신경망 기계 번역(Neural Machine Translation, NMT)은 훈련에 병렬 데이터만을 사용하면서 여러 언어 쌍에서 최고 수준의 성능을 달성하였습니다. 한편, 문장 기반 통계적 기계 번역에서 대상 언어 단일 데이터(target-side monolingual data)는 유창성을 향상시키는 데 중요한 역할을 합니다. 본 연구에서는 NMT에서 단일 언어 데이터를 활용하는 방법을 조사합니다. 이전 연구와는 달리, 별도로 훈련된 언어 모델과 NMT 모델을 결합하는 것이 아니라, 인코더-디코더 구조의 NMT 아키텍처가 이미 언어 모델과 동일한 정보를 학습할 수 있는 능력을 가지고 있다는 점에 주목합니다. 우리는 이를 변경하지 않고 단일 언語 데이터로 훈련할 수 있는 전략을 탐구합니다. 자동 역번역(back-translation)과 함께 단일 언어 훈련 데이터를 짝지음으로써 추가적인 병렬 훈련 데이터로 처리할 수 있으며, 이를 통해 WMT 15 영어<->독일어 (+2.8-3.7 BLEU) 및 저자원 IWSLT 14 터키어->영어 (+2.1-3.4 BLEU) 작업에서 상당한 개선 효과를 얻었습니다. 새로운 최고 수준의 결과를 얻게 되었습니다. 또한, 특정 영역 내의 단일 언어 및 병렬 데이터로 미세 조정(fine-tuning)하면 IWSLT 15 영어->독일어 작업에서도 상당한 개선 효과가 있음을 보여주었습니다.