17 天前

RelGAN:用于文本生成的关系生成对抗网络

{Nina Narodytska, Weili Nie, Ankit Patel}
RelGAN:用于文本生成的关系生成对抗网络
摘要

生成对抗网络(GANs)在生成逼真图像方面已取得显著成功,但在文本生成任务中,现代GAN架构仍面临巨大挑战。本文提出一种新型GAN架构——RelGAN,用于文本生成。该架构包含三个核心组件:基于关系记忆的生成器,用于建模长距离依赖关系;Gumbel-Softmax松弛方法,用于在离散数据上训练GAN;以及判别器中引入的多种嵌入表示,以向生成器提供更具信息量的更新信号。实验结果表明,RelGAN在样本质量与多样性方面均优于当前最先进的模型。通过消融实验进一步揭示,RelGAN的每一组件均对其性能提升起到关键作用。此外,本方法的一个显著优势在于,可通过单一可调参数灵活控制样本质量与多样性之间的权衡,这一特性使其区别于其他GAN模型。最后,RelGAN是首个成功将Gumbel-Softmax松弛方法应用于真实文本生成的GAN架构。