摘要
尽管研究投入巨大，生成对抗网络（GAN）训练中的不稳定性问题长期以来一直难以解决。本文指出，该问题的根源在于：在固定目标分布与逐步生成分布之间维持脆弱平衡的情况下，难以通过小批量统计量实现有效的特征匹配。为此，本文提出一种面向判别器的特征量化方法（Feature Quantization, FQ），将真实数据与虚假数据样本共同嵌入一个共享的离散空间。FQ的量化值被构建为一个动态演化的字典，其结构与近期生成分布的特征统计特性保持一致，从而在紧凑空间中隐式实现鲁棒的特征匹配。该方法可无缝集成至现有GAN模型中，训练过程仅带来极小的计算开销。我们在9个基准数据集上，将FQ应用于三种代表性GAN模型：用于图像生成的BigGAN、用于人脸合成的StyleGAN，以及用于无监督图像到图像翻译的U-GAT-IT。大量实验结果表明，所提出的FQ-GAN在各类任务中均显著提升了基线方法的FID分数，达到了新的最先进性能水平。