HyperAIHyperAI

Command Palette

Search for a command to run...

解锁普通分类器的潜力:面向弱监督语义分割的类别特定对抗擦除框架

Kuk-Jin Yoon Daehee Park Hyeonseong Kim Sung-Hoon Yoon Hyeokjun Kweon

摘要

基于图像级分类标签的弱监督语义分割(Weakly Supervised Semantic Segmentation, WSSS)通常利用类别激活图(Class Activation Maps, CAMs)来定位图像中感兴趣的目标。然而,CAMs仅能突出显示目标类别最具判别性的区域,难以覆盖判别性较弱的区域。为此,对抗性擦除(Adversarial Erasing, AE)方法被提出,以进一步探索这些低判别性区域。本文深入探讨了在原始图像上预训练的普通分类器所蕴含的潜力。实验结果表明,当图像中最具判别性的区域被一定程度擦除后,该普通分类器本身已具备激活低判别性区域的能力。基于这一发现,我们提出了一种基于类别特定对抗性擦除(Class-Specific AE)的框架,充分挖掘普通分类器的潜在能力。所提框架具有两个关键机制:(1)利用普通分类器判断应被擦除的区域;(2)通过随机采样图像中某一特定类别作为目标类别进行擦除,生成具有类别的擦除掩码,从而获得更精确的CAMs。具体而言,在普通分类器的引导下,所提出的CAM生成网络(CAM Generation Network, CGNet)被强制生成目标类别的CAM,同时约束该CAM不干扰其他类别的物体区域。结合由我们生成的CAM优化得到的伪标签,仅使用图像级监督,我们在PASCAL VOC 2012和MS-COCO两个基准数据集上均取得了当前最优的WSSS性能。代码已开源,地址为:https://github.com/KAIST-vilab/OC-CSE


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供