
摘要
少样本分割(Few-shot Segmentation, FSS)旨在仅依赖少量密集标注样本的情况下,对未见类别的物体进行分割。原型学习(Prototype Learning)是FSS中广泛采用的方法,其通过平均支持图像的全局与局部对象信息,生成单个或多个原型向量来表征类别特征。然而,仅依赖原型向量可能难以充分表达训练数据中的丰富特征,从而限制了模型的表达能力与预测精度。为提取更丰富的特征并实现更精确的分割,本文提出一种新型多相似性与注意力网络(Multi-Similarity and Attention Network, MSANet),包含两个创新模块:多相似性模块与注意力模块。多相似性模块通过融合支持图像与查询图像的多尺度特征图,精确建模语义关系;注意力模块则引导网络聚焦于与类别相关的关键信息。在标准FSS数据集PASCAL-5i(1-shot、5-shot)和COCO-20i(1-shot、5-shot)上进行的实验表明,以ResNet-101为骨干网络的MSANet在全部四个基准数据集上均达到当前最优性能,平均交并比(mIoU)分别达到69.13%、73.99%、51.09%和56.80%。相关代码已开源,地址为:https://github.com/AIVResearch/MSANet。