HyperAIHyperAI

Command Palette

Search for a command to run...

语义提示学习用于弱监督语义分割

Ci-Siang Lin Chien-Yi Wang Yu-Chiang Frank Wang Min-Hung Chen

摘要

弱监督语义分割(Weakly-Supervised Semantic Segmentation, WSSS)旨在仅使用图像级标签(image-level supervision)的图像数据训练语义分割模型。由于缺乏精确的像素级标注,现有方法通常通过优化类似类别激活图(CAM-like)的热图来生成伪掩码(pseudo masks),用于训练分割模型。然而,生成的热图往往仅聚焦于目标类别中具有判别性的图像区域,或错误地包含与目标共现的背景区域,导致语义对齐不充分。为解决上述问题,本文提出一种面向弱监督语义分割的语义提示学习框架——SemPLeS(Semantic Prompt Learning for WSSS)。该框架通过学习有效提示(prompts),引导CLIP模型的潜在空间(latent space),从而增强分割区域与目标类别之间的语义一致性。具体而言,我们提出两种关键技术:对比提示学习(Contrastive Prompt Learning)与提示引导的语义精炼(Prompt-guided Semantic Refinement),以学习能够充分描述目标类别特征并有效抑制其共现背景的提示。由此,SemPLeS能够实现更优的物体区域与类别标签之间的语义对齐,从而生成高质量的伪掩码,用于后续分割模型的训练。所提出的SemPLeS框架在标准WSSS基准数据集PASCAL VOC 2012和MS COCO 2014上均取得了具有竞争力的性能,并展现出与现有其他WSSS方法的良好兼容性。代码已开源:https://github.com/NVlabs/SemPLeS


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供