摘要
图像重光照已成为一个备受研究关注的问题，其发展主要受到增强现实应用的推动。传统的基于物理的方法以及黑箱式深度学习模型均已得到开发。现有深度网络通过训练实现了新的性能上限，但在训练数据有限或无法充分反映实际问题特性（如密集阴影的添加或移除）的情况下，其表现可能不佳。为此，本文提出一种融合物理先验知识的神经网络模型。具体而言，该方法采用两种不同策略生成具有新光照条件的图像，并通过一个权重图（w）对二者进行融合：第一种策略基于内在图像分解（Intrinsic Image Decomposition, IID），模型预测重光照图像的材质反射率参数（反照率，albedo）以及场景的光照/几何参数（阴影，shading）；第二种策略则完全采用黑箱方法，模型在训练阶段基于真实图像和损失函数优化自身权重，并直接生成重光照结果。我们所提出的方法适用于一对一重光照与任意到任意重光照两种场景，针对每种任务引入了特定组件以提升模型性能：1）在一对一重光照任务中，引入场景表面法向量，以更准确地调整图像中的光泽与阴影效果；2）在任意到任意重光照任务中，我们在网络架构中增加了一个多尺度模块，以增强特征提取能力。在VIDIT 2020与VIDIT 2021数据集（作为NTIRE 2021重光照挑战赛的基准数据集）上的实验结果表明，所提方法在多个经典保真度指标和感知损失方面均优于众多现有先进方法。