16 天前
消除特征模糊性以实现少样本分割
Qianxiong Xu, Guosheng Lin, Chen Change Loy, Cheng Long, Ziyue Li, Rui Zhao

摘要
近年来,少样本分割(Few-Shot Segmentation, FSS)领域的发展广泛采用了查询图像(query)与支持图像(support)特征之间的逐像素匹配机制,通常基于交叉注意力(cross attention)实现,该机制能够选择性激活与同类支持图像前景(Foreground, FG)特征相对应的查询图像前景特征。然而,由于骨干网络深层结构具有较大的感受野,提取的查询与支持图像前景特征不可避免地混入了背景(Background, BG)特征,从而干扰了交叉注意力中的前景-前景匹配过程。这导致查询前景特征与有效支持前景特征的融合程度降低,即支持信息未能得到充分挖掘与利用。为此,本文提出一种新型即插即用模块——模糊性消除网络(Ambiguity Elimination Network, AENet),可无缝集成至任意基于交叉注意力的FSS方法中。其核心思想是通过挖掘具有判别性的查询前景区域,对模糊的前景特征进行修正,从而提升前景信息在特征中的占比,有效抑制掺杂背景特征带来的负面影响。在此机制下,前景-前景匹配能力得以自然增强。我们在三种基准方法CyCTR、SCCAN和HDMNet上集成AENet进行评估,结果表明性能显著提升,例如SCCAN在PASCAL-5$^i$和COCO-20$^i$两个数据集上的1-shot分割性能分别提升了3.0%以上。相关代码已开源,地址为:https://github.com/Sam1224/AENet。