17 天前

自监督GAN:基于多分类极小极大博弈的分析与改进

Ngoc-Trung Tran, Viet-Hung Tran, Ngoc-Bao Nguyen, Linxiao Yang, Ngai-Man Cheung
自监督GAN:基于多分类极小极大博弈的分析与改进
摘要

自监督(Self-supervised, SS)学习是一种利用无标签数据进行表征学习的强大方法。近年来,该方法被引入生成对抗网络(Generative Adversarial Networks, GAN)的训练过程中。具体而言,已有研究提出自监督任务以缓解GAN判别器中的灾难性遗忘问题。在本工作中,我们对自监督任务与生成器学习之间的相互作用进行了深入分析。分析结果揭示了现有自监督任务存在的缺陷:即使生成器严重陷入模式崩溃(mode collapse),仍可能在自监督任务中表现优异。为解决上述问题,我们提出了一种基于多分类极小极大博弈(multi-class minimax game)的新自监督任务。在该博弈框架下,所提出的自监督任务之间形成竞争关系,从而促使生成器更准确地学习真实数据分布,并生成多样化的样本。我们从理论和实验两个层面提供了充分证据,表明所提出的自监督任务具有更优的收敛特性。我们在两种不同的GAN基线模型中集成所提出的自监督任务,并通过大量实验验证其有效性。结果表明,我们的方法在CIFAR-10、CIFAR-100、STL-10、CelebA、ImageNet $32\times32$ 以及 Stacked-MNIST 等多个基准数据集上均取得了当前最优的FID得分,在部分数据集上显著优于已有方法。值得注意的是,我们的无条件GAN模型在不使用任何标签数据的情况下,性能已接近条件GAN的水平。项目代码已开源:https://github.com/tntrung/msgan