使用扩张卷积改进文本建模的变分自编码器

近期在文本生成建模方面的研究发现，结合了LSTM解码器的变分自编码器（VAE）表现不如简单的LSTM语言模型（Bowman等人，2015年）。这一负面结果目前尚未得到充分理解，但被认为与LSTM解码器倾向于忽略来自编码器的条件信息有关。在本文中，我们尝试了一种新的VAE解码器类型：扩张卷积神经网络（dilated CNN）。通过改变解码器的扩张架构，我们控制了从先前生成的单词中获取的有效上下文。实验结果显示，解码器的上下文容量与使用的编码信息量之间存在权衡。我们证明，使用合适的解码器时，VAE可以超越LSTM语言模型。我们在两个数据集上展示了困惑度的降低，这是首次关于使用VAE进行文本生成建模的正面实验结果。此外，我们对使用VAE（配备我们的新解码架构）进行半监督和无监督标记任务进行了深入探讨，并在多个强大的基线上取得了改进。