由两时间尺度更新规则训练的GANs收敛到局部纳什均衡

生成对抗网络（GANs）在创建逼真图像方面表现出色，尤其是对于那些最大似然估计不可行的复杂模型。然而，GAN训练的收敛性尚未得到证明。我们提出了一种用于任意GAN损失函数的随机梯度下降训练的双时间尺度更新规则（TTUR）。TTUR为判别器和生成器分别设置了独立的学习率。利用随机逼近理论，我们证明了在温和假设下，TTUR可以收敛到一个稳定的局部纳什均衡。这种收敛性同样适用于流行的Adam优化算法，我们证明了Adam优化算法遵循带有摩擦的重球动力学，因此更倾向于选择目标景观中的平坦最小值。为了评估GAN在图像生成方面的性能，我们引入了“Fréchet Inception距离”（FID），该指标比Inception分数更好地捕捉生成图像与真实图像之间的相似性。实验结果表明，TTUR改进了DCGANs和改进的Wasserstein GANs（WGAN-GP）的学习效果，在CelebA、CIFAR-10、SVHN、LSUN卧室数据集以及十亿词基准测试中均优于传统的GAN训练方法。