摘要
神经文本生成模型通常为自回归语言模型或序列到序列（seq2seq）模型。通过逐词采样生成文本、且每个词均基于先前生成词进行条件建模的神经自回归与seq2seq模型，在多个机器翻译与文本摘要基准测试中达到了当前最优水平。尽管这些基准通常以验证集困惑度（perplexity）来定义，但该指标并非样本质量的直接衡量标准。语言模型通常采用最大似然估计进行训练，且大多数情况下使用教师强制（teacher forcing）策略。教师强制策略在优化困惑度方面表现良好，但可能导致生成样本质量较差，因为实际文本生成过程需要依赖训练阶段从未出现过的词序列进行条件建模。为此，我们提出利用生成对抗网络（Generative Adversarial Networks, GANs）来提升生成样本的质量。GANs通过显式训练生成器以生成高质量样本，在图像生成领域已取得显著成功。然而，GAN最初设计用于生成可微分的连续值，因此在处理离散的语言生成任务时面临挑战。为此，我们引入了一种基于演员-评论家（actor-critic）框架的条件GAN，该模型能够根据上下文信息填补缺失文本。我们通过定性和定量分析均证明，相较于最大似然训练的模型，该方法生成的文本样本更具真实性与自然性。