12 天前

面向分布外检测的深度混合模型

{Zhongfei Zhang, Senqi Cao}
面向分布外检测的深度混合模型
摘要

我们提出了一种原则性强且实用的分布外(Out-of-Distribution, OoD)检测方法,适用于深度混合模型(Deep Hybrid Models, DHMs)。该方法通过一次前向传播即可建模特征与标签的联合密度分布 $ p(x, y) $。通过将联合密度 $ p(x, y) $ 分解为三种不确定性来源,我们证明了该方法具备识别与训练数据在语义上显著不同的样本的能力。为确保计算可扩展性,我们在训练过程中引入权重归一化步骤,从而能够无缝集成当前最先进的深度神经网络(DNN)架构,以近似建模并推断具有表达力的概率分布。所提出的方法为预测不确定性估计提供了一个高效、通用且灵活的框架,并在实验中展现出优异的性能以及坚实的理论支持。据我们所知,这是首个在视觉与语言两类数据集上均实现OoD检测任务100%准确率的工作,尤其在极具挑战性的数据集组合(如CIFAR-10与SVHN、CIFAR-100与CIFAR-10)上也取得了突破性成果。本工作为推动深度神经网络在安全关键型实际应用场景中的可靠部署迈出了重要一步。

面向分布外检测的深度混合模型 | 最新论文 | HyperAI超神经