13 天前

ContraGAN:用于条件图像生成的对比学习

Minguk Kang, Jaesik Park
ContraGAN:用于条件图像生成的对比学习
摘要

条件图像生成是指利用类别标签信息生成多样化图像的任务。尽管已有多种条件生成对抗网络(Conditional GAN)取得了逼真的生成效果,但这些方法通常仅将图像嵌入与对应标签嵌入之间的成对关系(即数据到类别的关系)作为条件损失。本文提出了一种名为ContraGAN的新方法,该方法通过引入条件对比损失,同时建模同一批次内多个图像嵌入之间的关系(即数据到数据的关系)以及数据到类别的关系。ContraGAN中的判别器不仅负责判断样本的真实性,还通过最小化对比目标来学习训练图像之间的内在关联;与此同时,生成器则致力于生成能够欺骗判别器且具有较低对比损失的逼真图像。实验结果表明,ContraGAN在Tiny ImageNet和ImageNet数据集上的性能分别优于当前最先进的模型7.3%和7.7%。此外,我们通过实验证明,对比学习有助于缓解判别器的过拟合问题。为确保公平比较,我们使用PyTorch库重新实现了十二种最先进的GAN模型。相关软件包已开源,地址为:https://github.com/POSTECH-CVLab/PyTorch-StudioGAN。

ContraGAN:用于条件图像生成的对比学习 | 最新论文 | HyperAI超神经