基于概率分布建模的多样化语义图像生成

语义图像合成（Semantic Image Synthesis）旨在将语义布局映射为逼真的图像，属于典型的“一对多”映射问题。尽管近年来取得了显著进展，但如何高效生成语义层级上的多模态结果，实现多样化的语义合成，仍然是一个重大挑战。本文从语义类别分布的角度提出了一种新颖的多样化语义图像合成框架，该框架天然支持在语义层级甚至实例层级上的多样化生成。我们通过将类别级条件调制参数建模为连续概率分布（而非离散值），并采用在全网络中保持一致的实例自适应随机采样策略，实现对每个实例的调制参数进行采样。此外，我们提出了先验噪声重映射（prior noise remapping）机制，利用成对参考图像编码的线性扰动参数，以促进监督训练，并在测试阶段实现基于样本的实例风格控制。在多个数据集上的大量实验表明，所提方法在生成多样性方面显著优于当前最优方法，同时在图像质量上保持相当水平。代码将公开于 \url{https://github.com/tzt101/INADE.git}。