通过解耦表示实现多样的图像到图像转换

图像到图像的转换旨在学习两个视觉域之间的映射关系。许多应用面临两个主要挑战：1）缺乏对齐的训练样本对；2）从单个输入图像可能产生多个输出结果。在本研究中，我们提出了一种基于解耦表示的方法，能够在无需配对训练图像的情况下生成多样化的输出。为了实现多样性，我们建议将图像嵌入到两个空间中：一个域不变的内容空间，用于捕捉跨域的共享信息；以及一个特定于域的属性空间。我们的模型在测试时利用从给定输入中提取的内容特征编码和从属性空间采样的属性向量来生成多样化的输出结果。为了解决非配对训练数据的问题，我们引入了一种基于解耦表示的新颖交叉循环一致性损失。定性结果显示，我们的模型可以在广泛的任务上生成多样化且逼真的图像，而无需配对训练数据。对于定量比较，我们通过用户研究评估了图像的真实性，并使用感知距离度量来衡量多样性。我们将所提出的模型应用于域适应任务，并在MNIST-M和LineMod数据集上的表现与现有最先进方法相当。