2달 전

언어적 입력 특성이 신경망 기계 번역을 개선하다

Rico Sennrich; Barry Haddow
언어적 입력 특성이 신경망 기계 번역을 개선하다
초록

최근 신경망 기계 번역(Neural Machine Translation)은 외부 언어 정보를 거의 사용하지 않으면서도 뛰어난 결과를 달성하였습니다. 본 논문에서는 신경망 MT 모델의 강력한 학습 능력이 언어 특성을 불필요하게 만들지 않는다는 점을 보여주며, 이러한 특성을 쉽게 통합하여 성능을 더욱 향상시킬 수 있음을 설명합니다. 우리는 주의 메커니즘(Attentional) 인코더-디코더 구조에서 인코더의 임베딩 레이어를 일반화하여 기준 단어 특성 외에도 임의의 특성을 포함할 수 있도록 하였습니다. 영어<->독일어 및 영어->루마니아어 신경망 기계 번역 시스템에 형태소 특성, 품사 태그, 그리고 문법적 의존 관계 라벨을 입력 특성으로 추가하였습니다. WMT16 학습 및 테스트 세트에 대한 실험에서, 언어 입력 특성이 세 가지 지표인 퍼플렉서티(perplexity), BLEU, 그리고 CHRF3에 따라 모델의 품질을 개선하는 것을 확인하였습니다. 우리의 신경망 MT 시스템의 오픈 소스 구현체는 제공되며, 샘플 파일과 설정도 함께 제공됩니다.

언어적 입력 특성이 신경망 기계 번역을 개선하다 | 최신 연구 논문 | HyperAI초신경