초록
신경망 기계 번역(Neural Machine Translation, NMT)은 신경망을 사용하여 기계 번역(Machine Translation, MT) 문제를 해결하는 것을 목표로 하며 최근 몇 년간 유망한 결과를 보여주었습니다. 그러나 대부분의 기존 NMT 모델들은 얕고, 단일 NMT 모델과 최고의 전통적인 MT 시스템 사이에는 아직 성능 차이가 존재합니다. 본 연구에서는 깊은 장단기 기억(Long Short-Term Memory, LSTM) 네트워크를 기반으로 한 새로운 종류의 선형 연결인 '패스트 포워드 연결(fast-forward connections)'과 LSTM 레이어들을 쌓는 교차 양방향 구조를 소개합니다. 패스트 포워드 연결은 그래디언트 전파와 깊이 16인 깊은 위상 구조를 구축하는 데 중요한 역할을 합니다. WMT'14 영어-프랑스어 작업에서 우리는 단일 어텐션 모델로 BLEU 점수 37.7을 달성하여, 해당 단일 얕은 모델보다 6.2 BLEU 점수를 높였습니다. 이는 단일 NMT 모델이 최고 수준의 성능을 달성하고 최고의 전통적인 모델보다 0.7 BLEU 점수를 높이는 첫 번째 사례입니다. 어텐션 메커니즘 없이도 여전히 BLEU 점수 36.3을 달성할 수 있었습니다. 미지의 단어 처리와 모델 앙상블 후, 우리는 이 작업에서 지금까지 보고된 최고 점수인 BLEU 40.4를 얻었습니다. 우리의 모델들은 더 어려운 WMT'14 영어-독일어 작업에서도 검증되었습니다.