基于多相似性的超关系网络用于少样本分割

少样本语义分割旨在仅利用少量标注样本作为监督信号，识别未见类别中的目标区域。该任务的关键在于建立支持图像（support image）与查询图像（query image）之间稳健的语义关联，并有效防止过拟合。本文提出一种高效的多相似性超关系网络（Multi-similarity Hyperrelation Network, MSHNet），以应对少样本语义分割挑战。在MSHNet中，我们引入了一种新型生成式原型相似性（Generative Prototype Similarity, GPS），该方法与余弦相似性相结合，能够构建支持图像与查询图像之间强大的语义关联。基于全局特征生成的局部原型相似性，与基于局部特征计算的全局余弦相似性在逻辑上互为补充，通过联合使用这两种相似性度量，可更全面地刻画查询图像与支持图像之间的关系。此外，我们在MSHNet中设计了对称融合模块（Symmetric Merging Block, SMB），用于高效融合多层、多样本、多相似性超关系特征。MSHNet基于相似性而非特定类别特征进行建模，具有更强的泛化能力，能够有效缓解过拟合问题。在Pascal-5i和COCO-20i两个基准语义分割数据集上，MSHNet在1-shot与5-shot语义分割任务中均取得了新的最先进性能（state-of-the-art）。