基于协同双变换的高分辨率图像和谐化

给定一幅合成图像，图像调和（image harmonization）的目标是调整前景部分，使其与背景在视觉上协调一致。高分辨率图像调和需求迫切，但目前仍处于探索阶段。传统的图像调和方法通常学习全局的RGB到RGB映射变换，虽然能够轻松扩展至高分辨率，但忽略了局部上下文的多样性。近年来的深度学习方法则通过学习密集的像素到像素的变换，能够生成更加协调的输出结果，但在低分辨率下受限严重。针对这一问题，本文提出一种基于协同双变换（Collaborative Dual Transformation, CDTNet）的高分辨率图像调和网络，旨在端到端地协同融合像素到像素的变换与RGB到RGB的变换。所提出的CDTNet包含一个低分辨率生成器用于实现像素级变换、一个颜色映射模块用于执行RGB到RGB的全局变换，以及一个精炼模块以充分结合两种变换的优势。在高分辨率基准数据集及我们构建的真实高分辨率合成图像数据集上的大量实验表明，CDTNet在效率与效果之间取得了良好的平衡。本文所使用的数据集可于 https://github.com/bcmi/CDTNet-High-Resolution-Image-Harmonization 获取。