9 天前

从先验视角出发的长尾视觉识别校准模型研究

Zhengzhuo Xu, Zenghao Chai, Chun Yuan
从先验视角出发的长尾视觉识别校准模型研究
摘要

现实世界数据普遍面临严重的类别不平衡问题,并呈现出长尾分布特征,即大多数类别仅对应少量样本。基于此类数据训练的朴素监督模型倾向于偏好主导类别,导致严重的泛化能力下降,且分类置信度校准性能较差。为此,本文从先验分布的角度出发,提出两种新颖方法以缓解该困境。首先,我们推导出一种面向平衡的数据增强方法——均匀混合(Uniform Mixup, UniMix),该方法在长尾场景下优化了混合策略,通过引入先进的混合因子与采样机制,更有利于少数类样本的增强。其次,受贝叶斯理论启发,我们揭示了由先验不一致所引发的固有偏差——贝叶斯偏差(Bayes Bias, Bayias),并将其作为对标准交叉熵损失函数的修正项进行补偿。进一步地,我们从理论上与实证上证明,所提出的两种方法均能有效保障分类模型的校准性能。大量实验结果表明,本文提出的方法显著提升了模型的校准能力,且二者结合在CIFAR-LT、ImageNet-LT和iNaturalist 2018三个基准数据集上均取得了当前最优(state-of-the-art)的性能表现。