用于弱监督语义分割的图像间显著实例关联

在弱监督语义分割任务中，有效连接图像级别的关键词标注与对应图像像素，是当前面临的主要挑战之一。本文提出一种基于实例级显著性目标检测的方法，自动为训练图像生成显著性实例（候选物体）。利用整个训练集中每个显著性实例提取的相似性特征，构建相似性图，并采用图分割算法将该图划分为多个子图，每个子图对应一个单一关键词（标签）。所提出的基于图分割的聚类算法能够同时考虑训练集中所有显著性实例之间的相互关系以及其内部信息。此外，我们进一步证明，在注意力机制信息的辅助下，该聚类算法可纠正部分错误分配，从而获得更精确的分割结果。所提出的框架具有通用性，可无缝集成任意先进的全监督网络结构以训练分割模型。当与DeepLab架构结合用于语义分割时，本方法在PASCAL VOC 2012数据集上取得了65.6%的mIoU，显著优于现有的最先进弱监督方法。此外，我们将该方法与Mask R-CNN结合，首次实现了仅依赖关键词标注的弱监督实例分割，验证了其在弱监督实例分割任务中的可行性与有效性。