基于图像标签文本的迭代式少样本语义分割

少样本语义分割旨在仅依靠少量支持图像的引导，学习对未见类别物体进行分割。以往大多数方法依赖支持图像的像素级标注信息。本文关注更具挑战性的设定：仅提供支持图像的图像级标签。为此，我们提出一种通用框架，首先借助强大的视觉-语言模型CLIP生成粗略的分割掩码，随后通过迭代且相互增强的方式，对支持图像与查询图像的掩码预测结果进行联合优化与精炼。在PASCAL-5i和COCO-20i数据集上的大量实验表明，所提方法不仅显著超越当前最先进的弱监督分割方法，而且在性能上可与近期监督学习方法相媲美甚至更优。此外，该方法在真实场景图像及罕见类别上展现出优异的泛化能力。代码将开源，地址为：https://github.com/Whileherham/IMR-HSNet。