Vega-MT：WMT22用JD Exploreアカデミー翻訳システム

我々は、WMT 2022で共有された一般翻訳タスクにJD Explore Academyが提出した成果について報告する。当研究チームは、中国語-英語、ドイツ語-英語、チェコ語-英語、ロシア語-英語、日本語-英語の高資源タスク全般および一つの中資源タスクに参加した。前回の研究をさらに推し進め、翻訳のための双方向学習（bidirectional training）を、主に言語ペア数とモデルサイズの二つの要因を拡大することで実現した。このシステムは、\textbf{Vega-MT}と名付けられた。言語ペアの観点では、「双方向」学習を「多方向」（multidirectional）学習へと拡張し、参加するすべての言語をカバーすることで、言語間で共有される知識を活用し、下流の二言語タスクへと知識を転移した。モデルサイズの観点では、Transformer-Bigをさらに拡大し、約47億パラメータを有する極めて大きなモデルを採用することで、Vega-MTのモデル表現能力を最大限に高めた。さらに、単語彙データに対してはサイクル翻訳（cycle translation）を、二語彙および単語彙データに対しては双方向自己学習（bidirectional self-training）を用いるなど、データ拡張戦略を導入し、二語彙および単語彙データを包括的に活用した。Vega-MTを一般ドメインのテストセットに適応させるために、汎化調整（generalization tuning）を設計した。公式に公表された制約付きシステムの自動評価スコアに基づく分析結果によれば、sacreBLEUスコアにおいて、{Zh-En（33.5）、En-Zh（49.7）、De-En（33.7）、En-De（37.8）、Cs-En（54.9）、En-Cs（41.4）、En-Ru（32.7）}のタスクで1位、{Ru-En（45.1）、Ja-En（25.6）}で2位、{En-Ja（41.5）}で3位を獲得した。COMETスコアにおいては、{Zh-En（45.1）、En-Zh（61.7）、De-En（58.0）、En-De（63.2）、Cs-En（74.7）、Ru-En（64.9）、En-Ru（69.6）、En-Ja（65.1）}で1位、{En-Cs（95.3）、Ja-En（40.6）}で2位を達成した。