インスタンス条件付きGAN

生成対抗ネットワーク（GAN）は、人間の顔など狭いドメインにおいて、ほぼ写真に近いリアルな画像を生成できる。しかし、ImageNetやCOCO-Stuffのような複雑なデータセットの分布を、条件なし（unconditional）な設定でモデル化することは依然として困難である。本論文では、カーネル密度推定（kernel density estimation）の手法に着想を得て、複雑なデータセットの分布を非パラメトリックにモデル化するアプローチを提案する。我々は、データ多様体を、データポイントとその近傍点によって定義される重複する近傍領域の混合として分割し、各データポイント周辺の分布を学習するモデルであるインスタンス条件付きGAN（IC-GAN）を導入する。ImageNetおよびCOCO-Stuffにおける実験結果から、IC-GANが条件なしモデルおよび無監督データ分割ベースラインに対して顕著な性能向上を達成することが示された。さらに、訓練時に見未曾有のデータセットに対しても、条件付けインスタンスを単に変更するだけでIC-GANが容易に適応可能であり、依然として現実的な画像を生成できることを示した。最後に、IC-GANをクラス条件付き設定に拡張し、ImageNet上で意味的に制御可能な画像生成と競争力のある定量的評価結果を得た。特に、ImageNet-LTにおいてBigGANを上回る性能を達成した。報告された結果を再現可能なコードおよび学習済みモデルは、https://github.com/facebookresearch/ic_gan にて公開されている。