一阶生成对抗网络

生成对抗网络（GANs）在学习高维分布方面表现出色，但它们可能会在与目标函数最陡下降方向不对应的方向上更新生成器参数。著名的更新方向问题实例包括Goodfellow最初的GAN和WGAN-GP中使用的更新方向。为了形式化描述一个最优的更新方向，我们引入了一个理论框架，该框架允许推导出对散度及其相应确定更新方向方法的要求，这些要求保证了沿最陡下降方向进行无偏小批量更新。我们提出了一种新的散度，该散度在正则化批评者的一阶信息的同时近似Wasserstein距离。结合相应的更新方向，这种散度满足了无偏最陡下降更新的要求。我们在CelebA、LSUN和CIFAR-10数据集上通过图像生成验证了我们的方法——一阶GAN（First Order GAN），并在十亿词语言生成任务上达到了新的技术水平。实验代码已公开可用。