11 天前

用于去阴影的双射映射网络

{Zheng-Jun Zha, Qibin Sun, Feng Zhao, Xueyang Fu, Jie Huang, Yurui Zhu}
用于去阴影的双射映射网络
摘要

阴影去除旨在恢复阴影区域中的背景内容,由于其高度病态的性质,该任务极具挑战性。现有的大多数基于深度学习的方法仅依赖于成对匹配图像的内容来单独进行阴影去除,几乎未考虑阴影生成过程对阴影去除任务所具有的辅助监督作用。本文提出,阴影去除与阴影生成之间存在内在关联,二者可相互提供有益的监督信息。为此,我们提出一种新的双射映射网络(Bijective Mapping Network, BMNet),在统一的参数共享框架下联合学习阴影去除与阴影生成过程。通过双向一致的约束机制以及两个过程的同步优化,BMNet能够在前向阴影去除过程中有效恢复出底层的背景内容。此外,通过对真实世界数据集的统计分析,我们观察并验证了在不同色彩波段下阴影的外观呈现不一致性。这一发现促使我们设计了一种阴影不变色彩引导模块(Shadow-Invariant Color Guidance Module, SICGM),该模块能够显式利用学习到的阴影不变色彩信息,指导网络进行色彩恢复,从而进一步缓解色彩偏差问题。在代表性数据集ISTD、ISTD+和SRD上的实验结果表明,所提出的BMNet在去阴影性能上优于当前最先进的方法[??],同时仅需其0.25%的网络参数量和6.25%的浮点运算量(FLOPs)。

用于去阴影的双射映射网络 | 最新论文 | HyperAI超神经