FlowSeq：生成フローを用いた非自己回帰型条件付きシーケンス生成

多数のシーケンス・トゥ・シーケンス（seq2seq）モデルは自己回帰的（autoregressive）である。すなわち、各トークンは以前に生成されたトークンに条件づけて生成される。これに対し、非自己回帰的（non-autoregressive）なseq2seqモデルは、一度のパスですべてのトークンを生成するため、GPUなどのハードウェア上で並列処理が可能となり、効率が向上する。しかし、すべてのトークンの同時的な同時分布（joint distribution）を直接モデル化することは困難であり、モデル構造がますます複雑化しても、自己回帰モデルに比べて性能が著しく劣る状況が続く。本論文では、潜在変数モデルを用いた、シンプルかつ効率的で効果的な非自己回帰的シーケンス生成モデルを提案する。具体的には、ニューラルネットワークを用いて複雑な分布をモデル化する優れた手法である生成フロー（generative flow）に着目し、順序付き潜在変数の条件付き密度をモデル化するための複数層のフロー構造を設計した。このモデルを3つのニューラル機械翻訳（NMT）ベンチマークデータセット上で評価した結果、最先端の非自己回帰的NMTモデルと同等の性能を達成し、シーケンス長にかかわらずほぼ一定のデコード時間で処理が可能であることが確認された。