17 天前

可靠性至关重要:一种端到端的弱监督语义分割方法

Bingfeng Zhang, Jimin Xiao, Yunchao Wei, Mingjie Sun, Kaizhu Huang
可靠性至关重要:一种端到端的弱监督语义分割方法
摘要

弱监督语义分割是一项具有挑战性的任务,其仅使用图像级标签作为训练监督信号,却需在测试阶段生成像素级的分割预测。为应对这一挑战,近年来多数先进方法采用两阶段解决方案:首先生成伪像素级掩码,然后利用全卷积网络(FCN)基于这些伪掩码训练语义分割模型。然而,这类两阶段方法通常依赖大量复杂技巧以生成高质量的伪掩码,导致整体框架冗长且不够简洁优雅。在本文中,我们充分利用图像级标签,直接生成可靠且精确的像素级标注,并设计了一个完全端到端的网络结构,用于学习预测分割图。具体而言,我们首先通过一个图像分类分支生成目标类别的类别激活图(Class Activation Maps),并进一步将其修剪为置信度高但面积微小的物体或背景区域。这些可靠的区域被直接用作并行分割分支的真值标签,同时引入一种新设计的密集能量损失函数(dense energy loss)进行优化。尽管该方法在结构上显得简洁直观,其单阶段方案在Pascal VOC数据集上仍取得了具有竞争力的性能表现(验证集mIoU:62.6,测试集mIoU:62.9),与现有两阶段最先进方法相比毫不逊色。进一步地,将该单阶段方法扩展为两阶段框架后,我们实现了Pascal VOC数据集上的新最优性能(验证集mIoU:66.3,测试集mIoU:66.5)。