通过组谱正则化提升GAN在长尾数据上的性能

深度长尾学习旨在针对现实世界中普遍存在的数据分布不平衡问题，训练出具有实用价值的深度神经网络，其中尾部类别（tail classes）的样本数量极为稀少。尽管已有大量研究致力于在长尾分布上训练具有判别能力的视觉识别模型，但本文的研究目标则聚焦于在长尾分布上训练条件生成对抗网络（conditional Generative Adversarial Networks, cGANs）——一类图像生成模型。我们发现，与图像识别任务类似，当前最先进的图像生成方法在尾部类别上同样面临性能下降的问题。这种性能退化主要源于尾部类别特有的模式崩溃（mode collapse）现象，而我们观察到该现象与条件参数矩阵的谱爆炸（spectral explosion）存在显著相关性。为此，本文提出一种新颖的分组谱正则化方法（group Spectral Regularizer, gSR），通过抑制条件参数矩阵的谱爆炸，有效缓解了模式崩溃问题，从而在尾部类别上也能生成多样且逼真的图像。实验表明，gSR能够与现有的数据增强与正则化技术良好结合，显著提升长尾数据上的图像生成性能，达到当前最优水平。大量实验证明，所提出的正则化方法在不同不平衡程度的长尾数据集上均展现出卓越的有效性。