摘要
大规模训练的兴起催生了众多强大的视觉识别模型。然而，生成模型（如生成对抗网络 GAN）传统上通常采用无监督方式从零开始训练。能否利用大量预训练视觉模型所蕴含的“知识”来提升 GAN 的训练效果？如果可以，在如此众多的可选模型中，应如何选择最优模型，以及以何种方式使用才能实现最佳效果？我们发现，将预训练的计算机视觉模型以判别器集成（ensemble）的方式加以利用，能够显著提升 GAN 的性能。值得注意的是，所选模型子集的构成对最终性能具有重要影响。为此，我们提出一种高效的模型选择机制：通过探测预训练模型嵌入空间中真实样本与生成样本之间的线性可分性，筛选出分类性能最优的模型，并逐步将其加入判别器集成中。有趣的是，该方法在数据有限和大规模训练两种场景下均能有效提升 GAN 的训练表现。在仅使用 1 万张训练样本的情况下，我们在 LSUN Cat 数据集上的 FID 指标已达到 StyleGAN2 在 160 万张图像上训练所得的水平；而在完整数据集上，该方法在 LSUN 的猫、教堂和马三个类别上，将 FID 指标提升了 1.5 倍至 2 倍。