7 天前

Vega-MT:JD探索学院在WMT22上的机器翻译系统

Changtong Zan, Keqin Peng, Liang Ding, Baopu Qiu, Boan Liu, Shwai He, Qingyu Lu, Zheng Zhang, Chuang Liu, Weifeng Liu, Yibing Zhan, Dacheng Tao
Vega-MT:JD探索学院在WMT22上的机器翻译系统
摘要

我们介绍了京东探索研究院(JD Explore Academy)在WMT 2022共享通用翻译任务中的参赛成果。本次我们参与了所有高资源语种方向以及一个中等资源语种方向的翻译任务,涵盖中英、德英、捷克英、俄英和日英等语对。在前序工作的基础上,我们进一步拓展了模型能力的边界——通过大规模提升两个关键因素:语种对数量与模型规模,构建了名为Vega-MT的系统。在语种对方面,我们将原有的“双向”训练机制扩展为“多向”(multidirectional)训练设置,覆盖所有参与语种,以充分挖掘多语言间的共性知识,并将其迁移至下游的双语翻译任务中。在模型规模方面,我们将Transformer-Big模型扩展至拥有近47亿参数的超大规模模型,全面增强Vega-MT的表达能力。此外,我们引入了多种数据增强策略,包括针对单语数据的循环翻译(cycle translation),以及针对双语与单语数据的双向自训练(bidirectional self-training),以充分挖掘和利用双语与单语语料的潜在价值。为使Vega-MT更好地适应通用领域测试集,我们设计了专门的泛化调优(generalization tuning)策略。根据官方受限系统评测的自动指标结果,从sacreBLEU得分来看,我们在以下语对中获得第一名:{中英(33.5)、英中(49.7)、德英(33.7)、英德(37.8)、捷克英(54.9)、英捷克(41.4)、英俄(32.7)};第二名:{俄英(45.1)、日英(25.6)};第三名:{英日(41.5)}。在COMET指标方面,我们获得以下语对的第一名:{中英(45.1)、英中(61.7)、德英(58.0)、英德(63.2)、捷克英(74.7)、俄英(64.9)、英俄(69.6)、英日(65.1)};第二名:{英捷克(95.3)、日英(40.6)}。综上,Vega-MT系统在多个语种方向上均取得了优异成绩,充分展现了大规模多向训练与模型扩展在通用机器翻译任务中的显著优势。

Vega-MT:JD探索学院在WMT22上的机器翻译系统 | 最新论文 | HyperAI超神经