15 天前

基于贝叶斯方法的图像分类中的分布外鲁棒性

Prakhar Kaushik, Adam Kortylewski, Alan Yuille
基于贝叶斯方法的图像分类中的分布外鲁棒性
摘要

计算机视觉领域一个重要的未解难题是确保算法对图像域变化具有鲁棒性。本文针对目标域图像可获取但无标注信息的场景,提出了一种新颖的贝叶斯方法以提升对象分类任务在分布外(Out-of-Domain, OOD)情况下的鲁棒性。受OOD-CV基准测试中真实世界OOD干扰与遮挡挑战的启发,我们提出了一种面向对象分类的新型贝叶斯OOD鲁棒性框架。本研究在组合神经网络(Compositional Neural Networks, CompNets)的基础上进行拓展。尽管CompNets已被证明对遮挡具有较强鲁棒性,但在面对分布外数据时性能显著下降。我们利用CompNets中包含一个基于特征向量的生成头这一特性,该生成头采用冯·米塞斯-费舍尔(von Mises-Fisher, vMF)核进行建模,这些vMF核大致对应于物体的局部部件,且可在无监督条件下进行学习。我们观察到:不同域之间的部分vMF核存在相似性,而另一些则差异显著。基于此,我们构建了一个介于源域与目标域之间的过渡性vMF核字典,并在该字典上使用源域的标注数据训练生成模型,随后通过迭代优化进行精细化调整。该方法被命名为无监督生成过渡(Unsupervised Generative Transition, UGT)。在多种分布外场景下,UGT均表现出优异性能,即使在存在遮挡的情况下仍能保持良好表现。我们在多个主流OOD基准数据集上对UGT进行了评估,包括OOD-CV数据集、ImageNet-C等广泛使用的基准数据集、人工图像退化(如添加遮挡物)、以及从合成到真实域的迁移任务。实验结果表明,UGT在所有测试场景中均显著优于当前最先进(SOTA)的方法,例如在带有遮挡的OOD-CV数据集上,其Top-1准确率最高提升达10%。

基于贝叶斯方法的图像分类中的分布外鲁棒性 | 最新论文 | HyperAI超神经