11 天前

伪掩码在弱监督语义分割中的重要性

Yi Li, Zhanghui Kuang, Liyang Liu, Yimin Chen, Wayne Zhang
伪掩码在弱监督语义分割中的重要性
摘要

大多数弱监督语义分割(WSSS)方法遵循一种典型流程:首先生成伪掩码(pseudo-masks),随后在全监督模式下使用这些伪掩码训练分割模型。然而,我们在研究中发现,伪掩码的生成与利用过程中存在若干关键问题,包括从类别激活图(CAMs)中生成高质量伪掩码,以及在存在噪声的伪掩码监督下进行有效训练。针对上述问题,我们提出以下四项创新设计,以推动该领域性能达到新的最先进水平:(i) 变异系数平滑(Coefficient of Variation Smoothing):一种自适应平滑机制,用于对CAMs进行优化,有效抑制噪声并增强空间一致性;(ii) 比例伪掩码生成(Proportional Pseudo-mask Generation):提出一种新的度量方式,用于衡量每个类别在图像每个位置的重要性,基于该度量将扩展后的CAMs投影为伪掩码,而非依赖二分类器训练得到的原始分数;(iii) 伪欠拟合策略(Pretended Under-Fitting Strategy):通过有意识地引入欠拟合机制,降低噪声伪掩码对模型训练的负面影响;(iv) 循环伪掩码机制(Cyclic Pseudo-mask):在全监督语义分割(FSSS)训练过程中动态更新伪掩码,形成循环优化,持续提升伪掩码质量。基于上述方法的实验在两个具有挑战性的弱监督语义分割数据集上取得了新的最先进结果:在PASCAL VOC 2012数据集上,平均交并比(mIoU)达到70.0%;在MS COCO 2014数据集上,mIoU提升至40.2%。相关代码及完整的分割框架已开源,地址为:https://github.com/Eli-YiLi/PMM。

伪掩码在弱监督语义分割中的重要性 | 最新论文 | HyperAI超神经