要約
ニューラルテキスト生成モデルは、しばしば自己回帰言語モデルまたはseq2seqモデルである。これらのモデルは、各単語が前の単語に条件付けられる形で順次的に単語をサンプリングすることでテキストを生成し、いくつかの機械翻訳や要約のベンチマークにおいて最先端の性能を示している。これらのベンチマークは通常、検証パープレキシティによって定義されるが、これは生成されたテキストの品質の直接的な測定指標ではない。さらに、これらのモデルは一般的に最大尤度法と教師強制（teacher forcing）によって訓練される。これらの方法はパープレキシティの最適化には適しているが、テキスト生成には訓練時に一度も観測されていない単語列に条件付けられる必要があるため、サンプル品質が低下する可能性がある。我々は、Generative Adversarial Networks (GANs) を使用してサンプル品質を向上させる提案を行う。GANs は画像生成において多くの成功を収めており、ジェネレータを明示的に高品質なサンプルを生成するために訓練する。しかし、GANs は元々微分可能な値を出力するために設計されていたため、離散的な言語生成には挑戦的である。我々は検証パープレキシティのみではモデルが生成したテキストの品質を示していないと主張する。周辺コンテクストに基づいて欠落したテキストを補完するアクターキャリック条件付き GAN を導入する。質的および量的評価を通じて、この手法が最大尤度法で訓練されたモデルよりも現実的な条件付きおよび非条件付きテキストサンプルを生成することを示す証拠を提示する。