17 天前

基于类别或连续变量条件的生成对抗网络中真实图像的高效子采样

Xin Ding, Yongwei Wang, Z. Jane Wang, William J. Welch
基于类别或连续变量条件的生成对抗网络中真实图像的高效子采样
摘要

近年来,针对无条件生成对抗网络(unconditional GANs)生成图像的下采样或精炼方法受到广泛关注,旨在提升整体图像质量。然而,这些方法在处理条件生成对抗网络(conditional GANs, cGANs)时往往表现不佳或效率低下——无论是基于类别条件(即类别条件GAN,class-conditional GANs)还是连续变量条件(即连续条件GAN,或称CcGANs)。针对这一问题,本文提出了一种高效且有效的下采样方案,命名为条件密度比引导的拒绝采样(conditional density ratio-guided rejection sampling, cDR-RS),用于从cGAN中生成高质量图像。具体而言,我们首先提出一种新颖的条件密度比估计方法,称为cDRE-F-cSP,该方法通过引入条件Softplus损失(cSP loss)以及改进的特征提取机制实现。随后,我们推导了采用cSP损失训练的密度比模型的误差上界。在此基础上,根据生成图像的估计条件密度比,决定其是否被接受或拒绝。此外,我们还设计了一种过滤机制,在从CcGAN采样时有效提升生成图像的标签一致性,同时不损失图像多样性。我们在五个基准数据集上对cDR-RS在类别条件GAN和CcGAN中的采样性能进行了全面评估,验证了其有效性与高效性。在类别条件GAN的采样任务中,cDR-RS在生成质量方面显著优于当前主流的先进方法(除DRE-F-SP+RS外),展现出显著优势。尽管cDR-RS在有效性上与DRE-F-SP+RS相当,但其计算效率远高于后者。在CcGAN采样任务中,cDR-RS在有效性和效率两方面均展现出更为突出的性能优势。尤为值得注意的是,在消耗合理计算资源的前提下,cDR-RS能够显著降低标签得分(Label Score),同时保持CcGAN生成图像的多样性;而其他方法通常需以牺牲大量多样性为代价,才能实现微弱的标签得分提升。这一特性使cDR-RS在实际应用中具备更强的实用价值与推广潜力。