要約
ニューラルテキスト生成モデルは、通常、自己回帰型言語モデルまたはseq2seqモデルである。語の生成を逐次的にサンプリングする、各単語が直前の単語列に条件づけられたニューラル自己回帰モデルおよびseq2seqモデルは、機械翻訳や要約の複数のベンチマークにおいて、最先端の性能を発揮している。これらのベンチマークは、サンプルの品質を直接測るものではないにもかかわらず、検証用の perplexity（困惑度）によって定義されることが多い。言語モデルは一般的に最尤推定（maximum likelihood）によって学習され、その多くは教師強制（teacher forcing）を用いる。教師強制は困惑度の最適化に適しているが、訓練時に一度も観測されなかった単語列に基づいてテキストを生成する必要があるため、結果としてサンプル品質が低下する可能性がある。本研究では、生成 adversarial network（GAN）を用いてサンプル品質を向上させる手法を提案する。GANは生成器に高品質なサンプルを生成するよう明示的に訓練する点で優れており、画像生成分野において多くの成功を収めてきた。しかし、GANは元々微分可能な値を出力することを目的として設計されており、離散的な言語生成には適用が困難である。本研究では、周囲の文脈を条件として欠落したテキストを補完するアクター・クリティック型条件付きGANを提案する。定性的かつ定量的に、この手法が最尤推定で学習されたモデルと比較して、より現実的なテキストサンプルを生成できることを示した。