17 天前

用于语义图像合成的双金字塔生成对抗网络

Shijie Li, Ming-Ming Cheng, Juergen Gall
用于语义图像合成的双金字塔生成对抗网络
摘要

语义图像合成的目标是从语义标签图生成逼真的图像,这一任务在内容生成和图像编辑等领域具有重要意义。然而,当前最先进的方法在不同尺度下生成真实感物体方面仍存在挑战:小物体往往显得模糊甚至消失,而大物体则常常被生成为多个图像块拼接而成的“拼贴”效果。为解决这一问题,本文提出了一种双金字塔生成对抗网络(Dual Pyramid Generative Adversarial Network, DP-GAN),该网络在所有尺度上联合学习空间自适应归一化模块的条件化机制,从而实现尺度信息的双向利用,并统一多尺度下的监督信号。实验结果表明,无论是定性还是定量评估,所提方法生成的图像在小物体和大物体的真实感表现上均显著优于当前最先进的方法。