HyperAIHyperAI

Command Palette

Search for a command to run...

自监督图像特定原型探索用于弱监督语义分割

Qi Chen Lingxiao Yang Jianhuang Lai Xiaohua Xie

摘要

基于图像级别标签的弱监督语义分割(Weakly Supervised Semantic Segmentation, WSSS)因其标注成本低而受到广泛关注。现有方法通常依赖于类别激活图(Class Activation Mapping, CAM),通过衡量图像像素与分类器权重之间的相关性来定位目标区域。然而,分类器仅关注具有判别性的局部区域,忽略了图像中其他潜在有用的信息,导致定位结果不完整。为解决这一问题,本文提出一种自监督的图像特定原型探索方法(Self-supervised Image-specific Prototype Exploration, SIPE),该方法由图像特定原型探索(Image-specific Prototype Exploration, IPE)模块与通用-特定一致性(General-Specific Consistency, GSC)损失函数构成。具体而言,IPE模块为每张图像定制专属原型,以捕获更完整的语义区域,由此生成图像特定的类别激活图(Image-specific CAM, IS-CAM),该过程通过两个连续步骤实现。此外,GSC损失被设计用于建立通用CAM与本文提出的特定IS-CAM之间的一致性,从而进一步优化特征表示,并赋予原型探索过程自校正能力。在PASCAL VOC 2012和MS COCO 2014语义分割基准上的大量实验表明,所提出的SIPE方法仅使用图像级别标签,即可取得新的最先进性能。代码已开源,地址为:https://github.com/chenqi1126/SIPE


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供