面向多模态图像到图像的转换

许多图像到图像的转换问题具有不确定性，因为单个输入图像可能对应多个可能的输出。在本研究中，我们旨在条件生成建模的框架下对这些可能的输出进行分布建模。映射的不确定性被提炼为一个低维潜在向量，该向量在测试时可以随机采样。生成器学习将给定的输入与这一潜在代码相结合，映射到输出。我们明确鼓励输出与潜在代码之间的连接具有可逆性。这有助于防止训练过程中从潜在代码到输出的一对多映射，即所谓的模式塌陷问题，并产生更多样化的结果。我们通过采用不同的训练目标、网络架构和注入潜在代码的方法探索了该方法的几种变体。我们提出的方法促进了潜在编码与输出模式之间的双射一致性。我们在感知真实性和多样性方面系统地比较了所提出的方法与其他变体。