摘要
图像合成通常不可避免地会面临不协调问题，其主要成因在于前景与背景分别来自具有不同材质和光照条件的两幅图像，导致二者在材质相关和光照相关的特性上不匹配，即反射率（reflectance）与光照（illumination）的固有图像之间存在不一致性。为此，我们提出通过可分离的反射率与光照协同优化来实现图像和谐化，即固有图像和谐化（intrinsic image harmonization）。我们的方法基于一种自编码器架构，能够将合成图像解耦为反射率和光照分量，进而分别进行和谐化处理。具体而言，我们通过施加材质一致性约束来优化反射率，同时通过学习并迁移背景图像的光照信息至前景图像来实现光照和谐化；此外，我们以一种无不协调干扰的学习方式建模合成图像中前景与背景之间的局部块（patch）关联关系，从而自适应地引导固有图像的和谐化过程。大量实验与消融研究充分验证了本方法的有效性及其各组件的贡献。此外，我们还构建了一个新的具有挑战性的基准数据集，用于光照和谐化任务的评测。代码与数据集已开源，地址为：https://github.com/zhenglab/IntrinsicHarmony。