Command Palette
Search for a command to run...
基于弱监督语义分割的跨图像语义挖掘
基于弱监督语义分割的跨图像语义挖掘
Guolei Sun Wenguan Wang Jifeng Dai Luc Van Gool
摘要
本文研究仅依赖图像级监督进行语义分割的学习问题。当前主流方法通常利用分类器生成的物体定位图作为监督信号,但难以使定位图充分捕捉完整的物体内容。与以往主要关注图像内部信息的工作不同,本文提出利用跨图像语义关系来实现更全面的物体模式挖掘。为此,我们在分类器中引入了两种神经协同注意力机制,分别用于互补地捕捉跨图像间的语义相似性与差异性。具体而言,对于一对训练图像,一种协同注意力机制促使分类器从协同关注的物体中识别出共有的语义特征,而另一种称为对比协同注意力的机制,则引导分类器从其余非共有的物体中识别出独特的语义差异。这一设计有助于分类器发现更多样的物体模式,并更准确地将语义锚定在图像区域中。此外,协同注意力机制还能借助其他相关图像的上下文信息,提升定位图的推断能力,从而最终促进语义分割的学习效果。更为重要的是,本文提出的算法构建了一个统一的框架,能够有效应对多种弱监督语义分割(WSSS)设置,包括:(1)仅使用精确的图像级标签进行学习;(2)额外引入简单的单标签数据;(3)额外利用噪声较大的网络数据。该方法在上述所有设置下均取得了新的最先进性能,充分证明了其有效性与泛化能力。此外,本方法在CVPR2020“从不完美数据中学习”挑战赛的弱监督语义分割赛道中荣获第一名。