11 天前

通过分布内类别先验检测分布外数据

{Bo Han, Feng Zheng, Tongliang Liu, Hong Chen, Zhen Fang, Feng Liu, Xue Jiang}
通过分布内类别先验检测分布外数据
摘要

给定一个预训练的分布内(in-distribution, ID)模型,推理阶段的分布外(out-of-distribution, OOD)检测旨在识别推理过程中出现的OOD数据。然而,一些代表性方法基于一个未经证实的假设:OOD数据属于每一个ID类别的概率应当相等,即这些OOD到ID类别的概率实际上服从均匀分布。本文指出,当ID模型在类别不平衡的数据上进行训练时,这一假设会导致上述方法失效。幸运的是,通过分析ID与OOD类别之间以及类别与特征之间的因果关系,我们识别出若干常见场景,在这些场景下,OOD到ID类别的概率应服从ID类别的先验分布。基于此,我们提出了两种策略来改进现有的推理阶段OOD检测方法:1)若现有方法显式使用了均匀分布,则将其替换为ID类别的先验分布;2)否则,根据预训练模型的Softmax输出与ID类先验分布之间的相似性,对检测得分进行重加权。大量实验结果表明,当ID模型在类别不平衡的数据上预训练时,上述两种策略均能显著提升OOD检测性能,充分体现了ID类先验在OOD检测中的关键作用。

通过分布内类别先验检测分布外数据 | 最新论文 | HyperAI超神经