基于条件GAN的高分辨率图像合成与语义操控

我们提出了一种使用条件生成对抗网络（conditional GANs）从语义标签图合成高分辨率照片级真实图像的新方法。尽管条件生成对抗网络已经支持了多种应用，但其结果通常局限于低分辨率且与真实感相去甚远。在本研究中，我们通过引入一种新颖的对抗损失函数以及新的多尺度生成器和判别器架构，生成了分辨率为2048x1024的视觉效果优良的结果。此外，我们还扩展了框架以支持交互式视觉操作，增加了两个额外的功能。首先，我们结合了对象实例分割信息，这使得可以进行对象操作，如移除/添加对象和更改对象类别。其次，我们提出了一种方法，在给定相同输入的情况下生成多样化的结果，允许用户交互式地编辑对象外观。人类意见研究表明，我们的方法显著优于现有方法，在深度图像合成和编辑的质量和分辨率方面取得了重要进展。