2 个月前

具有普遍目标意识的RGB-D显著物体检测

Yifan Zhao; Jiawei Zhao; Jia Li; Xiaowu Chen
具有普遍目标意识的RGB-D显著物体检测
摘要

传统的RGB-D显著物体检测方法旨在利用深度信息作为补充信息来识别两种模态中的显著区域。然而,显著物体检测的结果在很大程度上依赖于捕获的深度数据的质量,而这些数据有时并不可用。在这项工作中,我们首次尝试通过一种新颖的深度感知框架来解决RGB-D显著物体检测问题。该框架在测试阶段仅依赖于RGB数据,而在表示学习过程中利用捕获的深度数据作为监督信息。为了构建我们的框架并实现准确的显著区域检测结果,我们提出了一种普遍目标感知(Ubiquitous Target Awareness, UTA)网络,以应对RGB-D显著物体检测任务中的三个重要挑战:1)深度感知模块,用于挖掘深度信息并通过自适应深度误差权重来识别模糊区域;2)空间感知跨模态交互和通道感知跨层交互,利用低级边界线索并放大高级显著通道;3)门控多尺度预测模块,用于在不同的上下文尺度下感知物体的显著性。除了高性能外,我们提出的UTA网络在推理时无需依赖深度信息,并且能够实时运行,帧速率达到43 FPS。实验结果表明,我们提出的网络不仅在五个公开的RGB-D显著物体检测基准上大幅超越了现有最先进方法,还在五个公开的RGB显著物体检测基准上验证了其可扩展性。

具有普遍目标意识的RGB-D显著物体检测 | 最新论文 | HyperAI超神经