2달 전

문자 단위 디코더가 명시적인 구분 없이 신경 기계 번역을 위한 방법

Junyoung Chung; Kyunghyun Cho; Yoshua Bengio
문자 단위 디코더가 명시적인 구분 없이 신경 기계 번역을 위한 방법
초록

기존의 기계 번역 시스템, 구문 기반 또는 신경망 기반을 불문하고, 거의 전적으로 명시적인 분할을 사용한 단어 수준의 모델링에 의존해 왔습니다. 본 논문에서는 근본적인 질문을 제기합니다: 신경망 기계 번역이 명시적인 분할 없이 문자 시퀀스를 생성할 수 있을까요? 이 질문에 답하기 위해, 하위 단어 수준의 인코더와 문자 수준의 디코더를 갖춘 주목력(attention) 기반 인코더-디코더 모델을 WMT'15에서 제공하는 병렬 코퍼스를 사용하여 En-Cs, En-De, En-Ru 및 En-Fi 네 가지 언어 쌍에 대해 평가하였습니다. 실험 결과, 문자 수준의 디코더를 사용한 모델이 모든 네 가지 언어 쌍에서 하위 단어 수준의 디코더를 사용한 모델보다 우수한 성능을 보였습니다. 또한, 문자 수준의 디코더를 사용한 신경망 모델들의 앙상블이 En-Cs, En-De 및 En-Fi에서 최신 비신경망 기계 번역 시스템보다 우수하며, En-Ru에서는 유사한 성능을 보임을 확인하였습니다.