11 天前

GEN:推动基于Softmax的分布外检测的极限

{Christopher Zach, Yaroslava Lochman, Xixi Liu}
GEN:推动基于Softmax的分布外检测的极限
摘要

分布外(Out-of-Distribution, OOD)检测在神经网络的实际部署中受到广泛研究,尤其是在安全关键型应用场景中具有重要意义。然而,在大规模数据集上实现OOD检测更贴近现实需求,同时也面临更大挑战。现有多种方法通常需要访问训练数据以设计得分函数,或在训练过程中引入异常样本,这限制了其适用性。尽管部分后处理(post-hoc)方法可避免上述限制,但其性能往往不够理想。本文提出一种通用熵得分(Generalized ENtropy score, GEN),这是一种简单但高效的基于熵的得分函数,可适用于任何预训练的基于Softmax的分类器。在大规模ImageNet-1k OOD检测基准上的实验表明,GEN在六种常用的基于CNN和视觉Transformer的分类器上,持续优于多项前沿的后处理方法,平均AUROC提升至少3.5%。此外,我们将GEN与基于特征增强的方法以及利用训练统计信息的方法结合,进一步提升了OOD检测性能。相关代码已开源,地址为:https://github.com/XixiLiu95/GEN。

GEN:推动基于Softmax的分布外检测的极限 | 最新论文 | HyperAI超神经