ターゲットカテゴリカルコードの学習による非自己回帰翻訳

非自己帰納的Transformerは、有望なテキスト生成モデルである。しかし、現在の非自己帰納的モデルは、自己帰納的モデルに比べて翻訳品質において依然として劣っている。この精度の差は、デコーダ入力間の依存関係モデリングの不足に起因すると考えられる。本論文では、非自己帰納的デコーディングにおいて、潜在変数として暗黙的にカテゴリカルなコードを学習するCNATを提案する。これらのカテゴリカルなコード間の相互作用により、欠落していた依存関係が補われ、モデルの表現能力が向上する。実験の結果、複数の強力なベースラインと比較して、当モデルは機械翻訳タスクにおいて同等あるいは優れた性能を達成することが示された。