11 天前

基于人工数据集训练GANs的经验教训

Shichang Tang
基于人工数据集训练GANs的经验教训
摘要

近年来,生成对抗网络(Generative Adversarial Networks, GANs)在合成逼真图像方面取得了显著进展。然而,GANs 通常在样本数量过少或类别过多且属于不同数据分布的图像数据集上进行训练,这使得模型容易出现欠拟合或过拟合现象,从而给其分析带来困难并施加诸多限制。为在避免数据集引入不必要的干扰的前提下,对 GANs 进行系统性研究,我们采用人工生成的数据集进行训练。这些人工数据集具有无限数量的样本,其真实数据分布具有简单、高维且具有结构化流形的特性。此外,我们设计的生成器确保了最优参数集的存在。实证研究表明,在多种距离度量下,GAN 的标准训练过程均无法学习到这些最优参数。同时,我们发现当模型复杂度足够高时,训练多个 GAN 的混合模型所带来的性能提升,优于单纯增加网络深度或宽度。实验结果表明,混合生成器能够在无监督设置下自动发现不同的数据模式或类别,这一现象可归因于生成与判别任务在多个生成器和判别器之间的分布与协同机制。作为我们结论在真实数据集上可泛化的例证,我们在 CIFAR-10 数据集上训练了 GAN 混合模型,实验结果表明,该方法在主流评价指标——Inception Score(IS)和 Fréchet Inception Distance(FID)上均显著优于当前最先进的方法。