
要約
本研究では、非自己回帰翻訳(NAT)モデルに新たな局所的自己回帰翻訳(LAT)機構を導入し、出力トークン間の局所的依存関係を捉えることを目的とする。具体的には、各出力位置において、単一のトークンを予測するのではなく、自己回帰的に短いトークン列を予測する。さらに、出力の断片を適切に整合・統合して最終的な出力シーケンスを生成する効率的なマージアルゴリズムを設計した。本手法は、条件付きマスク言語モデル(CMLM;Ghazvininejad et al., 2019)にLATを統合し、同様に反復的デコードを採用している。5つの翻訳タスクにおける実証的評価結果から、CMLMと比較して、同等または優れた性能を達成しつつ、デコードの反復回数を削減でき、処理速度が最大2.5倍向上することが明らかになった。さらなる分析により、本手法は翻訳の重複を低減し、長文における性能も優れていることが示された。