Edinburgh Neural Machine Translation Systems for WMT 16

우리는 네 가지 언어 쌍에 대해 양방향으로 각각 훈련된 신경망 번역 시스템을 구축하여 WMT 2016 공유 뉴스 번역 작업에 참여했습니다: 영어<->체코어, 영어<->독일어, 영어<->루마니아어, 영어<->러시아어. 우리의 시스템은 주의 메커니즘(attentional mechanism)을 사용하는 인코더-디코더(encoder-decoder) 기반으로, 고정된 어휘를 사용한 오픈 보카브러리(open-vocabulary) 번역을 위해 BPE 서브워드 분할(subword segmentation)을 활용합니다. 우리는 단일 언어 뉴스 코퍼스의 자동 역번역(automatic back-translations)을 추가 훈련 데이터로 사용하고, 광범위한 드롭아웃(pervasive dropout), 그리고 대상 양방향 모델(target-bidirectional models)을 실험했습니다. 모든 보고된 방법들이 상당한 개선 효과를 가져왔으며, 베이스라인 시스템보다 4.3~11.2 BLEU 점수의 개선을 보였습니다. 인간 평가에서 우리의 시스템은 참여한 8개 방향 중 7개 방향에서 (동률로) 최고의 제약 조건 하 시스템(constrained system)으로 선정되었습니다.