Instanzbedingte GAN

Generative Adversarial Networks (GANs) können in eng begrenzten Domänen, wie beispielsweise menschlichen Gesichtern, nahezu fotografisch realistische Bilder erzeugen. Dennoch bleibt die Modellierung komplexer Datensatzverteilungen, wie sie beispielsweise bei ImageNet und COCO-Stuff vorliegen, in unbedingten Szenarien herausfordernd. In diesem Paper lassen wir uns von Techniken der Kerndichteschätzung inspirieren und stellen einen nicht-parametrischen Ansatz zur Modellierung komplexer Datensatzverteilungen vor. Wir partitionieren die Datensmannigfaltigkeit in eine Mischung überlappender Nachbarschaften, die jeweils durch einen Datensatzpunkt und seine nächsten Nachbarn beschrieben werden, und führen ein Modell namens instance-conditioned GAN (IC-GAN) ein, das die Verteilung um jeden Datensatzpunkt lernt. Experimentelle Ergebnisse auf ImageNet und COCO-Stuff zeigen, dass IC-GAN deutlich über unbedingte Modelle und Baselines mit unsupervisierter Datensatzpartitionierung hinausgeht. Darüber hinaus zeigen wir, dass IC-GAN problemlos auf Datensätze übertragen werden kann, die während des Trainings nicht gesehen wurden, indem lediglich die bedingenden Instanzen gewechselt werden, und dennoch realistische Bilder generiert. Schließlich erweitern wir IC-GAN auf den klassenbedingten Fall und demonstrieren semantisch kontrollierbare Generierung sowie wettbewerbsfähige quantitative Ergebnisse auf ImageNet; dabei übertrifft IC-GAN BigGAN auf ImageNet-LT. Der Quellcode und die trainierten Modelle zur Reproduktion der berichteten Ergebnisse sind unter https://github.com/facebookresearch/ic_gan verfügbar.