单图像阴影去除的自动曝光融合

阴影去除仍然是一个具有挑战性的任务，因其固有的背景依赖性和空间变化特性，导致阴影模式未知且多样。即使是最先进的深度神经网络也难以完全恢复无痕的去阴影背景。本文提出了一种新的解决方案，通过将该任务表述为曝光融合问题来应对这些挑战。直观上，我们首先可以估计多个相对于输入图像的过曝图像，使这些图像中的阴影区域与输入图像中无阴影区域的颜色相同。然后，我们将原始输入图像与过曝图像进行融合，生成最终的无阴影图像。然而，阴影的空间变化特性要求融合过程必须足够“智能”，即它应该自动从不同图像中选择合适的过曝像素，以使最终输出看起来自然。为了应对这一挑战，我们提出了影子感知的FusionNet（影子感知融合网络），该网络以阴影图像作为输入，在所有过曝图像上生成融合权重图。此外，我们还提出了边界感知的RefineNet（边界感知精炼网络），以进一步消除剩余的阴影痕迹。我们在ISTD、ISTD+和SRD数据集上进行了广泛的实验，验证了所提方法的有效性，并在阴影区域表现出优于现有最先进方法的性能，在非阴影区域则表现出相当的性能。我们已将模型和代码发布在 https://github.com/tsingqguo/exposure-fusion-shadow-removal。