초록
최근 주의 메커니즘이 번역 과정에서 소스 문장의 일부에 선택적으로 집중함으로써 신경망 기계 번역(Neural Machine Translation, NMT)을 개선하는 데 사용되고 있습니다. 그러나 주의 기반 NMT에 대한 유용한 아키텍처를 탐구한 연구는 많지 않았습니다. 본 논문에서는 두 가지 간단하면서도 효과적인 주의 메커니즘 클래스를 검토합니다: 모든 소스 단어에 항상 주목하는 전역 접근 방식과 한 번에 소스 단어의 부분 집합만 살펴보는 국부적 접근 방식입니다. 우리는 양방향으로 영어와 독일어 사이의 WMT 번역 작업에서 이 두 접근 방식의 효과성을 입증하였습니다. 국부적 주의를 사용하여 이미 드롭아웃(dropout) 등의 알려진 기술을 포함하고 있는 비주의 시스템보다 5.0 BLEU 점수를 크게 향상시켰습니다. 서로 다른 주의 아키텍처를 사용한 앙상블 모델은 WMT'15 영어-독일어 번역 작업에서 25.9 BLEU 점수로 새로운 최고 성능 결과를 달성하였으며, 이는 NMT와 n-그램 재순위화(n-gram reranker)를 이용한 기존 최고 시스템보다 1.0 BLEU 점수를 향상시킨 것입니다.