초록
이 논문은 시드니대학교가 WMT 2019 공유 뉴스 번역 작업에 제출한 내용을 설명합니다. 우리는 핀란드어→영어 방향에 참여하여 모든 참가자 중 최고의 BLEU(33.0) 점수를 얻었습니다. 우리의 시스템은 자기 주의 메커니즘(self-attentional)을 기반으로 하는 트랜스포머 네트워크를 사용하였으며, 여기에 최근 학술 연구에서 효과적인 전략들을 통합하였습니다(예: BPE, 역방향 번역(back translation), 다중 특성 데이터 선택(multi-features data selection), 데이터 증강(data augmentation), 탐욕적 모델 앙상블(greedy model ensemble), 재순위화(reranking), ConMBR 시스템 결합, 후처리(post-processing)).또한, 우리는 합성 코퍼스를 완전히 활용하기 위해 새로운 증강 방법인 사이클 번역(Cycle Translation)과 데이터 혼합 전략인 대/소 병렬 구조(Big/Small parallel construction)를 제안하였습니다. 광범위한 실험 결과는 위 기법들을 추가함으로써 BLEU 점수가 지속적으로 개선됨을 보여주며, 최고 성능은 기준 모델(원래 병렬 코퍼스로 훈련된 트랜스포머 앙상블 모델)보다 약 5.3 BLEU 점수 높아 최신 기술 수준의 성능을 달성하였습니다.