초록
구문이 신경망 기계 번역(NMT)에서 매우 효과적임이 입증되었습니다. 이전의 NMT 모델들은 잘 훈련된 구문 분석 시스템으로부터 얻은 최적의 트리 출력을 표현하여 구문을 통합하였습니다. 예를 들어, 대표적인 Tree-RNN 및 Tree-Linearization 방법들이 이러한 접근 방식을 사용하지만, 오류 전파 문제에 직면할 수 있습니다. 본 연구에서는 소스 측 구문을 암시적으로 NMT에 통합하는 새로운 방법을 제안합니다. 기본 아이디어는 잘 훈련된 엔드투엔드 종속성 파서의 중간 은닉 표현을 사용하는 것입니다. 이를 구문 인지 단어 표현(SAWRs, Syntax-Aware Word Representations)이라고 합니다. 그런 다음, 이러한 SAWRs를 일반 단어 임베딩과 연결하여 기본 NMT 모델들을 강화합니다. 제안된 방법은 널리 사용되는 시퀀스-투-시퀀스(Seq2Seq) NMT 모델들에 간단히 통합될 수 있습니다. 우리는 대표적인 RNN 기반 Seq2Seq 베이스라인 시스템으로 시작하여, 중국어-영어 및 영어-베트남어 번역 작업의 두 개 벤치마크 데이터셋에서 제안된 방법의 효과성을 검증하였습니다. 실험 결과, 제안된 접근 방식은 베이스라인과 비교하여 두 데이터셋 모두에서 유의미한 BLEU 점수 향상을 가져왔습니다. 중국어-영어 번역에서는 1.74점, 영어-베트남어 번역에서는 0.80점 각각입니다. 또한, 이 접근 방식은 명시적인 Tree-RNN 및 Tree-Linearization 방법들을 능가하였습니다.