摘要
本工作旨在利用预训练的基础模型（如对比语言-图像预训练模型CLIP和通用分割模型SAM），通过图像级标签解决弱监督语义分割（WSSS）问题。为此，我们提出了一种基于CLIP与SAM的粗到细框架，用于生成高质量的分割种子。具体而言，我们构建了一个图像分类任务与一个种子分割任务，并由权重冻结的CLIP模型与两组可学习的任务特定提示（prompt）协同完成。设计了一个基于SAM的种子生成模块（SAMS），分别应用于上述两个任务，以生成粗粒度或细粒度的种子图。此外，我们引入了一种由图像级标签监督的多标签对比损失，以及一种由生成的粗粒度种子图监督的类激活图（CAM）激活损失。这些损失用于优化提示参数，而提示是本框架中唯一需要学习的部分。在提示学习完成后，将每张图像连同学习得到的分割专用提示输入CLIP模型与SAMS模块，生成高质量的分割种子。这些种子作为伪标签，用于训练现成的分割网络，其策略与其他两阶段WSSS方法一致。实验结果表明，本方法在PASCAL VOC 2012数据集上达到当前最优性能，在MS COCO 2014数据集上也取得了具有竞争力的结果。代码已开源，地址为：https://github.com/HAL-42/FMA-WSSS.git。