基于残差模式学习的语义分割像素级分布外检测

语义分割模型将像素分类为一组已知的（“分布内”）视觉类别。当在开放世界环境中部署时，这些模型的可靠性不仅取决于其对分布内像素的分类能力，还取决于其检测分布外（OoD）像素的能力。历史上，这些模型在OoD检测方面表现不佳，促使研究者设计了基于合成训练图像重新训练模型的方法，这些合成图像中包含分布外的视觉对象。尽管这类方法取得了一定成功，但仍存在两个关键问题：（1）在重新训练过程中，模型的分布内分割准确率可能下降；（2）其OoD检测性能在训练集之外的新场景（如从城市环境迁移到乡村环境）中泛化能力较差。本文提出一种新方法，有效缓解上述问题：（i）设计了一种新型残差模式学习（Residual Pattern Learning, RPL）模块，能够在不损害分布内分割性能的前提下，辅助模型有效检测分布外像素；（ii）提出一种新颖的上下文鲁棒对比学习（Context-robust Contrastive Learning, CoroCL），使RPL模块能够在多种不同上下文中稳健地识别分布外像素。实验结果表明，该方法在Fishyscapes、Segment-Me-If-You-Can和RoadAnomaly三个数据集上，相较于先前的最先进方法，将假阳性率（FPR）平均提升约10%，平均受试者工作特征曲线下面积（AuPRC）提升约7%。相关代码已开源，地址为：https://github.com/yyliu01/RPL。