广义少样本语义分割

训练语义分割模型需要大量精细标注的数据，这使得模型难以快速适应那些无法满足这一条件的新类别。少样本分割（FS-Seg）在许多限制条件下解决了这一问题。本文中，我们引入了一个新的基准测试，称为广义少样本语义分割（GFS-Seg），用于分析同时对少量示例的新类别和大量示例的基础类别进行分割时的泛化能力。这是首次研究表明，先前具有代表性的最先进的FS-Seg方法在GFS-Seg中表现不佳，性能差距主要来源于FS-Seg的受限设置。为了使GFS-Seg更具可行性，我们在不改变原始模型结构的情况下建立了一个GFS-Seg基线，实现了良好的性能。随后，由于上下文对于语义分割至关重要，我们提出了上下文感知原型学习（CAPL），该方法通过1）利用支持样本中的共现先验知识；2）根据每个查询图像的内容动态丰富分类器的上下文信息，显著提升了性能。实验结果表明，这两项贡献都具有重要的实际价值。在Pascal-VOC和COCO数据集上的广泛实验验证了CAPL的有效性，并且CAPL在FS-Seg上也表现出色，达到了有竞争力的性能。代码已发布在 https://github.com/dvlab-research/GFS-Seg。