13 天前

基于多个预训练模型的分布外检测性能提升

Feng Xue, Zi He, Chuanlong Xie, Falong Tan, Zhenguo Li
基于多个预训练模型的分布外检测性能提升
摘要

分布外(Out-of-Distribution, OOD)检测,即识别输入样本是否来自与训练分布不同的新分布,是保障机器学习系统在开放世界中安全部署的关键任务。近年来,基于预训练模型的后处理检测方法展现出优异的性能,并具备向大规模问题扩展的潜力。这一进展自然引出一个关键问题:我们能否利用多个预训练模型之间的多样性,进一步提升后处理检测方法的性能?在本工作中,我们提出一种通过集成来自多个预训练模型“模型动物园”(model zoo)的检测决策来增强OOD检测性能的方法。该方法采用p值而非常用的硬阈值,并基于多重假设检验的基本框架,有效控制分布内(In-Distribution, ID)数据的真正例率(True Positive Rate)。我们重点研究模型动物园的利用方式,并在多个主流OOD检测基准上,与当前最先进的方法进行了系统的实证比较。实验结果表明,所提出的集成方案在性能上显著优于单模型检测器,并大幅超越现有竞争性方法。在CIFAR-10和ImageNet基准上,我们的方法分别实现了相对性能提升65.40%和26.96%。