摘要
阴影去除是场景理解中的关键任务。现有许多研究仅关注图像内容的匹配，这常常导致两类伪影：阴影区域的颜色不一致，或阴影边界处出现伪影。本文从两个方面解决上述问题。首先，为精确学习无边界伪影的图像，我们提出一种新型网络结构——双层次聚合网络（Dual Hierarchically Aggregation Network, DHAN）。该网络以一系列扩张卷积作为主干，不包含任何下采样操作，并通过分层聚合多尺度上下文特征，分别用于注意力建模与图像预测。其次，我们认为在有限数据集上训练会限制网络对纹理的理解能力，从而引发阴影区域的颜色不一致问题。目前最大的公开数据集包含2000余对带阴影与无阴影图像，但其真实场景数量仅约1000个，因为大量样本共享完全相同的背景，仅阴影位置不同。为此，我们设计了一种阴影抠像生成对抗网络（Shadow Matting Generative Adversarial Network, SMGAN），能够基于给定的阴影掩码和无阴影图像，合成逼真的阴影抠像结果。借助新生成的掩码或场景，我们利用合成的阴影图像增强现有数据集。实验结果表明，所提出的DHAN能够有效去除阴影，生成高质量且无伪影的图像。在合成数据与真实数据联合训练后，该方法在多个指标上显著优于现有最先进方法。代码已开源：http://github.com/vinthony/ghost-free-shadow-removal/