16 天前

自校准交叉注意力网络用于少样本分割

Qianxiong Xu, Wenting Zhao, Guosheng Lin, Cheng Long
自校准交叉注意力网络用于少样本分割
摘要

少样本分割(Few-Shot Segmentation, FSS)成功的关键在于如何有效利用支持样本(support samples)。现有大多数方法将支持图像中的前景(Foreground, FG)特征压缩为原型(prototype),但这一过程会损失部分空间细节信息。另一些方法则采用交叉注意力机制,将查询图像(query image)的特征与未压缩的支持前景特征进行融合。虽然查询图像的前景特征可以与支持图像的前景特征有效融合,但查询图像的背景(Background, BG)特征在支持图像中难以找到对应的背景特征,因而不可避免地会融合不相似的特征。此外,由于查询图像的前景与背景均与支持图像的前景特征相融合,导致两类特征发生纠缠,从而影响分割性能。为解决上述问题,本文提出一种自校准交叉注意力(Self-Calibrated Cross Attention, SCCA)模块。为实现高效的基于块(patch-based)注意力计算,首先将查询图像与支持图像的特征划分为多个图像块。随后,设计了一个图像块对齐模块,用于将每个查询块与最相似的支持块进行对齐,从而提升交叉注意力机制的准确性。具体而言,SCCA以一个查询块作为查询(Query, Q),并将来自同一查询图像的其他块以及与之对齐的支持图像块作为键(Key, K)和值(Value, V)。通过这种方式,查询图像的背景特征能够与匹配的背景特征(来自查询图像自身的块)进行融合,从而有效缓解前述问题。此外,在计算SCCA时,本文设计了一种缩放余弦(scaled-cosine)机制,以更充分地利用支持图像特征进行相似性度量。在PASCAL-5^i与COCO-20^i两个基准数据集上的大量实验表明,所提方法显著优于现有最先进模型。例如,在COCO-20^i数据集的5-shot设置下,本方法的平均交并比(mIoU)较之前最优方法提升5.6%。代码已开源,地址为:https://github.com/Sam1224/SCCAN。