11 天前

MARS:面向弱监督语义分割的模型无关偏置目标移除方法,无需额外监督

Sanghyun Jo, In-Jae Yu, Kyungsu Kim
MARS:面向弱监督语义分割的模型无关偏置目标移除方法,无需额外监督
摘要

弱监督语义分割旨在通过使用图像级类别标签等弱监督信号来训练语义分割模型,从而降低标注成本。然而,现有大多数方法难以生成精确的定位图,且在与类别相关的背景区域(即存在偏见的物体)中容易产生误检,例如将铁轨误检为“火车”类别。近期一些去除偏见物体的方法需要额外的人工标注,以针对每个存在偏见的类别手动识别偏见物体,并通过审查模型预测结果来构建其数据集,这限制了其在包含多标签、复杂偏见关系的真实世界数据集上的适用性。基于首个观察结果——即偏见特征可通过在同一样本集中将偏见物体与其背景进行匹配而实现分离与消除,我们提出了一种完全自动化的、与模型无关的偏见去除框架MARS(Model-Agnostic biased object Removal without additional Supervision)。该方法利用无监督技术所提取的语义一致特征,有效消除伪标签中的偏见物体。令人惊讶的是,MARS在两个主流基准测试PASCAL VOC 2012(验证集:77.7%,测试集:77.2%)和MS COCO 2014(验证集:49.4%)上均取得了新的最先进性能,且在无需任何额外监督的情况下,持续提升了多种弱监督语义分割模型的性能,提升幅度不低于30%。