초록
우리는 신경망 기계 번역(NMT) 성능을 향상시키는 간단하면서도 효과적인 전략인 '데이터 다양화(Data Diversification)'를 제안한다. 본 방법은 다수의 전방 및 역방향 모델의 예측 결과를 활용하여 훈련 데이터를 다양화한 후, 최종 NMT 모델이 훈련되는 원본 데이터셋과 병합한다. 제안한 방법은 모든 NMT 모델에 적용 가능하며, 백트랜슬레이션과 같이 추가적인 단방향 데이터가 필요하지 않으며, 모델 앙상블과 같이 계산량이나 파라미터 수를 증가시키지 않는다. 제안한 방법은 WMT'14 영어-독어 및 영어-프랑스어 번역 과제에서 각각 30.7 및 43.7의 최고 수준(BLEU 점수)을 달성하였으며, 8개의 다른 번역 과제에서도 크게 성능 향상을 보였다. 이는 4개의 IWSLT 과제(영어-독어 및 영어-프랑스어)와 4개의 저자원 번역 과제(영어-네팔어 및 영어-스리랑카어)를 포함한다. 실험을 통해 본 방법이 지식 증류(Knowledge Distillation) 및 듀얼 학습(Dual Learning)보다 더 효과적임을 입증하였으며, 모델 앙상블과 강한 상관관계를 보이며, 낮은 퍼플렉서티(Perplexity)를 희생하여 더 높은 BLEU 점수를 얻는 특성을 보였다. 본 연구의 소스 코드는 https://github.com/nxphi47/data_diversification 에 공개하였다.