17 天前

合成后比较:用于语义分割的失败与异常检测

Yingda Xia, Yi Zhang, Fengze Liu, Wei Shen, Alan Yuille
合成后比较:用于语义分割的失败与异常检测
摘要

在计算机视觉应用中,尤其是语义分割这类对安全性要求极高的场景(如自动驾驶和医学图像分析),能够有效检测故障与异常是构建可靠系统的基本需求。本文系统地研究了语义分割中的故障与异常检测问题,并提出了一种统一的框架,该框架由两个模块组成,以协同解决这两个密切相关的问题。第一个模块为图像合成模块,能够根据给定的分割布局图生成合成图像;第二个模块为对比模块,用于计算合成图像与输入图像之间的差异。我们在三个具有挑战性的数据集上对所提框架进行了验证,实验结果显著优于现有技术水平,具体表现为:在Cityscapes数据集上AUPR-Error提升6%;在MSD胰腺肿瘤分割任务中皮尔逊相关系数提升7%;在StreetHazards异常分割任务中AUPR提升20%。