改进的Wasserstein生成对抗网络训练方法

生成对抗网络（GANs）是一种强大的生成模型，但其训练过程存在不稳定性问题。最近提出的Wasserstein GAN（WGAN）在实现GAN的稳定训练方面取得了进展，但在某些情况下仍然可能生成低质量样本或无法收敛。我们发现这些问题通常是由WGAN中使用的权重裁剪方法来强制执行判别器的Lipschitz约束所引起的，这可能导致不良行为。为此，我们提出了一种替代权重裁剪的方法：对判别器相对于其输入的梯度范数进行惩罚。我们的方法在性能上优于标准的WGAN，并且几乎无需超参数调整即可实现多种GAN架构的稳定训练，包括101层残差网络（ResNets）和离散数据上的语言模型。此外，我们在CIFAR-10和LSUN卧室数据集上也实现了高质量的图像生成。