17 天前

基于实例判别的数据高效实例生成

Ceyuan Yang, Yujun Shen, Yinghao Xu, Bolei Zhou
基于实例判别的数据高效实例生成
摘要

生成对抗网络(Generative Adversarial Networks, GANs)在图像合成领域取得了显著进展,然而当训练数据量有限时,其合成质量会显著下降。为提升GAN训练的数据效率,以往方法通常采用数据增强技术以缓解判别器的过拟合问题,但依然让判别器执行二分类任务(即真实图像与虚假图像的区分)。在本工作中,我们提出一种基于实例判别(instance discrimination)的数据高效图像生成方法——实例生成(Instance Generation, InsGen)。具体而言,除了区分真实数据域与生成数据域之外,判别器还需能够识别每一个独立的图像样本,无论其来自训练集还是生成器。通过这种方式,判别器可从无限数量的合成样本中获益,从而缓解因训练数据不足导致的过拟合问题。为进一步增强判别器的判别能力,我们引入了一种噪声扰动策略。同时,判别器所学习到的实例判别能力也被反向利用,以促进生成器产生更具多样性的图像。大量实验结果表明,该方法在多种数据集和训练设置下均表现出优异性能。尤为显著的是,在FFHQ数据集仅使用2,000张训练图像的设置下,我们的方法相较当前最优方法实现了23.5%的FID指标提升。