17 天前

基于样本的图像翻译中的跨域对应关系学习

Pan Zhang, Bo Zhang, Dong Chen, Lu Yuan, Fang Wen
基于样本的图像翻译中的跨域对应关系学习
摘要

我们提出了一种通用的基于样本的图像转换框架,该框架能够根据输入的特定域图像(例如语义分割图、边缘图或姿态关键点图)和一个参考样本图像,合成出逼真的目标图像。生成结果在风格(如颜色、纹理)上与参考样本中语义对应物体保持一致。我们提出联合学习跨域对应关系与图像转换,两项任务相互促进,因此可在弱监督条件下共同完成。首先,来自不同域的图像被对齐至一个中间域,以建立密集的对应关系;随后,网络基于参考样本中语义对应图像块的外观特征进行图像合成。我们在多个图像转换任务中验证了该方法的有效性。实验结果表明,与当前最先进的方法相比,本方法在图像质量上具有显著优势,且生成图像的风格忠实于参考样本,同时保持了良好的语义一致性。此外,我们还展示了该方法在多种实际应用中的实用价值。