2 个月前

总结与搜索:学习共识感知的动态卷积用于共显著性检测

Zhang, Ni ; Han, Junwei ; Liu, Nian ; Shao, Ling
总结与搜索:学习共识感知的动态卷积用于共显著性检测
摘要

人类在进行共显著性检测时,首先会总结整个群体的共识知识,然后在每张图像中搜索相应的对象。以往的方法通常在第一个过程中缺乏鲁棒性、可扩展性或稳定性,而在第二个过程中则简单地将共识特征与图像特征融合。本文提出了一种新颖的共识感知动态卷积模型,能够显式且有效地执行“总结和搜索”过程。为了总结共识图像特征,我们首先使用有效的池化方法为每张单个图像提取鲁棒特征,然后通过自注意力机制聚合跨图像的共识线索。这样做使得我们的模型满足了可扩展性和稳定性的要求。接下来,我们从共识特征生成动态核,以编码总结出的共识知识。生成了两种互补的核,分别用于总结细粒度的图像特定共识对象线索和粗粒度的群体共同知识。随后,我们可以通过在多个尺度上应用动态卷积来有效执行对象搜索。此外,还提出了一种新颖且有效的数据合成方法来训练我们的网络。四个基准数据集上的实验结果验证了我们所提出方法的有效性。我们的代码和显著图可在以下网址获取:https://github.com/nnizhang/CADC。

总结与搜索:学习共识感知的动态卷积用于共显著性检测 | 最新论文 | HyperAI超神经