16 天前

生成对抗网络的一致性正则化

Han Zhang, Zizhao Zhang, Augustus Odena, Honglak Lee
生成对抗网络的一致性正则化
摘要

生成对抗网络(Generative Adversarial Networks, GANs)尽管经过大量研究,仍以训练困难著称。已有多种正则化技术被提出以稳定训练过程,但这些方法往往引入显著的计算开销,并与现有技术(如谱归一化)存在不良交互。本文提出一种基于一致性正则化(consistency regularization)思想的简单而有效的训练稳定器——这一技术在半监督学习领域中已被广泛采用。具体而言,我们在输入GAN判别器的数据上施加数据增强,并对判别器对这些增强操作的敏感性进行惩罚。通过一系列实验,我们验证了该一致性正则化方法在谱归一化、多种GAN架构、损失函数及优化器设置下均能有效工作。在CIFAR-10和CelebA数据集上,与现有其他正则化方法相比,本方法在无条件图像生成任务中取得了最优的FID分数。此外,所提出的具有一致性正则化的GAN(CR-GAN)在条件生成任务上显著提升了当前最优性能:在CIFAR-10上,FID分数从14.73降低至11.48;在ImageNet-2012上,从8.73降至6.66。