17 天前

面向高保真少样本图像合成的更快且更稳定的GAN训练

Bingchen Liu, Yizhe Zhu, Kunpeng Song, Ahmed Elgammal
面向高保真少样本图像合成的更快且更稳定的GAN训练
摘要

在高保真图像上训练生成对抗网络(GAN)通常需要大规模GPU集群以及海量训练图像。本文研究了在计算成本最低的前提下,针对GAN的少样本图像生成任务。我们提出了一种轻量级GAN结构,在1024×1024分辨率下实现了优异的生成质量。值得注意的是,该模型仅需在单张RTX-2080 GPU上进行数小时的训练即可从零开始收敛,并且在训练样本少于100张的情况下仍能保持稳定一致的性能表现。本工作的核心由两项技术设计构成:一种跳跃连接的通道级激励模块,以及一个以特征编码器方式训练的自监督判别器。我们在涵盖多种图像领域的十三个数据集上进行了实验(数据集与代码已公开于:https://github.com/odegeasslbc/FastGAN-pytorch),结果表明,在数据量和计算资源均受限的情况下,本模型在性能上显著优于当前最先进的StyleGAN2。