2 个月前

StackGAN++:基于堆叠生成对抗网络的逼真图像合成

Han Zhang; Tao Xu; Hongsheng Li; Shaoting Zhang; Xiaogang Wang; Xiaolei Huang; Dimitris Metaxas
StackGAN++:基于堆叠生成对抗网络的逼真图像合成
摘要

尽管生成对抗网络(GANs)在各种任务中取得了显著的成功,但在生成高质量图像方面仍面临挑战。本文提出了一种堆叠生成对抗网络(StackGAN),旨在生成高分辨率的照片级真实图像。首先,我们提出了一种两阶段生成对抗网络架构——StackGAN-v1,用于从文本到图像的合成。第一阶段的GAN根据给定的文本描述绘制对象的基本形状和颜色,生成低分辨率图像。第二阶段的GAN以第一阶段的结果和文本描述为输入,生成具有照片级真实细节的高分辨率图像。其次,我们提出了一种先进的多阶段生成对抗网络架构——StackGAN-v2,适用于条件性和非条件性生成任务。我们的StackGAN-v2由多个生成器和判别器组成,呈树状结构;不同分支生成同一场景的多尺度图像。通过联合逼近多个分布,StackGAN-v2比StackGAN-v1表现出更稳定的训练行为。大量实验表明,所提出的堆叠生成对抗网络在生成照片级真实图像方面显著优于其他最先进方法。