基于先验引导的特征增强网络用于少样本分割

当前最先进的语义分割方法需要大量标注数据才能取得良好性能，在未见类别上缺乏泛化能力，且在未进行微调的情况下难以有效应对新类别。为此，少样本分割（few-shot segmentation）被提出，旨在训练一个能够仅凭借少量标注的支持样本快速适应新类别的模型。然而，现有方法在面对未见类别时仍面临泛化能力下降的问题，主要原因在于对训练类别高层语义信息的使用不当，以及查询图像与支持图像之间目标空间位置的不一致性。为缓解上述问题，本文提出先验引导的特征增强网络（Prior Guided Feature Enrichment Network, PFENet）。该网络包含两项创新设计：（1）一种无需训练的先验掩码生成方法，能够在保持模型泛化能力的同时显著提升性能；（2）特征增强模块（Feature Enrichment Module, FEM），通过自适应地将支持特征与先验掩码信息融合到查询特征中，有效缓解了查询与支持目标之间的空间不一致性问题。在PASCAL-5$^i$和COCO数据集上的大量实验表明，所提出的先验生成方法与FEM均显著提升了基线方法的性能。此外，PFENet在不牺牲效率的前提下，大幅超越了现有最先进方法。令人惊讶的是，我们的模型甚至能够在完全没有标注支持样本的情况下实现良好泛化。相关代码已开源，地址为：https://github.com/Jia-Research-Lab/PFENet/。