17 天前

DPANet:一种面向RGB-D显著目标检测的深度感知门控注意力网络

Zuyao Chen, Runmin Cong, Qianqian Xu, Qingming Huang
DPANet:一种面向RGB-D显著目标检测的深度感知门控注意力网络
摘要

在RGB-D显著目标检测任务中,存在两个核心问题:(1)如何有效融合跨模态RGB-D数据之间的互补信息;(2)如何抑制由不可靠深度图带来的污染效应。事实上,这两个问题相互关联、彼此交织,但以往方法往往仅关注第一个问题,忽视了对深度图质量的考量,这可能导致模型陷入次优状态。本文提出一种整体性解决方案,协同应对上述两个挑战,并设计了一种新型网络结构——DPANet,旨在显式建模深度图的潜在价值,从而高效融合多模态互补信息。通过引入“深度潜在性感知”机制,网络能够以学习的方式感知深度信息的潜在可用性,并在融合过程中主动引导,有效规避污染问题。此外,在融合阶段引入的门控多模态注意力模块,利用带有门控控制器的注意力机制,从跨模态视角捕捉长距离依赖关系。在8个公开数据集上与15种前沿方法的对比实验结果表明,所提方法在定性和定量两个方面均展现出显著优越性,验证了其有效性与鲁棒性。