2달 전

비지도 통계적 기계 번역

Mikel Artetxe; Gorka Labaka; Eneko Agirre
비지도 통계적 기계 번역
초록

현대의 기계 번역은 대규모 병렬 말뭉치에 의존해 왔지만, 최근 연구에서는 단일 언어 말뭉치만을 사용하여 신경망 기계 번역(Neural Machine Translation, NMT) 시스템을 훈련시키는 데 성공했습니다(Arteuxe 등, 2018c; Lample 등, 2018). 이 접근 방식이 저자원 환경에서 잠재력을 가지고 있지만, 기존 시스템들은 감독 학습 시스템에 비해 크게 뒤떨어져 있어 실제 활용성이 제한적입니다. 본 논문에서는 감독 학습 시스템과의 차이를大幅缩小하는 문구 기반 통계적 기계 번역(Statistical Machine Translation, SMT)의 대안적인 접근 방식을 제안합니다. 우리의 방법은 SMT의 모듈화된 구조를 활용합니다: 먼저 단일 언어 말뭉치에서 교차 언어 임베딩 매핑을 통해 문구 표를 유도하고, 이를 n-그램 언어 모델과 결합하며, 비감독 MERT 변형을 통해 하이퍼파라미터를 미세 조정합니다. 또한 반복적인 역방향 번역(iterative backtranslation)은 결과를 더욱 개선시켜, 예를 들어 WMT 2014 영어-독일어와 영어-프랑스어에서 각각 14.08 및 26.22 BLEU 점수를 얻었습니다. 이는 이전 비감독 시스템보다 7-10 BLEU 점수 이상 개선되었으며, 감독 학습 SMT(Moses가 Europarl로 훈련됨)와의 차이를 2-5 BLEU 점수로 줄였습니다. 우리의 구현은 https://github.com/artetxem/monoses 에서 확인할 수 있습니다.注:在翻译过程中,“大幅缩小”被翻译为“대폭 축소”以保持句子的流畅性和正式性。

비지도 통계적 기계 번역 | 최신 연구 논문 | HyperAI초신경