16 天前
重新思考分布外(OOD)检测:掩码图像建模足矣
Jingyao Li, Pengguang Chen, Shaozuo Yu, Zexin He, Shu Liu, Jiaya Jia

摘要
分布外(Out-of-Distribution, OOD)检测的核心在于学习可与分布外样本相区分的分布内(In-Distribution, ID)表征。以往的研究多采用基于识别的方法来学习ID特征,但这类方法往往倾向于学习捷径特征,而非全面、本质的数据表征。在本工作中,我们发现令人意外的是,仅采用基于重建的方法即可显著提升OOD检测的性能。我们深入探究了OOD检测的关键影响因素,发现基于重建的预训练任务具有提供通用且高效先验的潜力,有助于模型更好地学习ID数据集的内在数据分布。具体而言,我们在OOD检测框架中将掩码图像建模(Masked Image Modeling)作为预训练任务,构建了名为MOOD的框架。在不依赖任何复杂技巧(bells and whistles)的情况下,MOOD在单类OOD检测上超越了先前的最先进方法(SOTA)5.7%,在多类OOD检测上提升3.0%,在近分布OOD检测任务中提升2.1%。更值得注意的是,尽管我们的方法在训练过程中未引入任何分布外样本,MOOD仍优于采用每类10个异常样本进行暴露训练(10-shot-per-class outlier exposure)的检测方法。