实例条件生成对抗网络

生成对抗网络（GANs）在特定领域（如人脸图像）中已能生成接近真实照片的图像。然而，在无条件生成设置下，对ImageNet和COCO-Stuff等复杂数据集的复杂分布进行建模仍然具有挑战性。本文受核密度估计方法的启发，提出一种非参数化方法来建模复杂数据集的分布。我们通过将数据流形划分为由数据点及其最近邻构成的重叠邻域混合体，提出一种名为实例条件GAN（Instance-Conditioned GAN，简称IC-GAN）的模型，该模型能够学习每个数据点周围的局部分布。在ImageNet和COCO-Stuff上的实验结果表明，IC-GAN显著优于无条件生成模型以及基于无监督数据划分的基线方法。此外，我们证明了IC-GAN能够通过简单更换条件实例，轻松迁移到训练过程中未见过的新数据集，并依然生成高质量的真实图像。最后，我们将IC-GAN扩展至类别条件生成场景，在ImageNet上实现了语义可控的图像生成，并取得了具有竞争力的定量性能；同时在ImageNet-LT数据集上优于BigGAN。用于复现本文结果的代码及训练好的模型已公开发布于：https://github.com/facebookresearch/ic_gan。