9 天前

长尾识别中的再平衡孪生对比挖掘

Zhisheng Zhong, Jiequan Cui, Zeming Li, Eric Lo, Jian Sun, Jiaya Jia
长尾识别中的再平衡孪生对比挖掘
摘要

深度神经网络在高度类别不平衡的数据集上表现不佳。鉴于对比学习(contrastive learning)展现出的优异性能,本文提出了一种名为重平衡孪生对比挖掘(Rebalanced Siamese Contrastive Mining, ResCom)的新方法,以应对类别不平衡条件下的识别问题。基于数学分析与仿真结果,我们指出:监督式对比学习在原始批次(original batch)与孪生批次(Siamese batch)两个层级均面临双重类别不平衡问题,其严重程度甚至超过传统的长尾分类学习任务。在原始批次层面,本文引入一种类别平衡的监督式对比损失(class-balanced supervised contrastive loss),为不同类别自动分配自适应权重,以缓解类别分布不均带来的偏差。在孪生批次层面,我们设计了一种类别平衡队列(class-balanced queue),确保所有类别在队列中保持相同数量的负样本键(keys),从而实现更均衡的对比学习过程。此外,我们发现对比损失相对于对比logits的梯度可被解耦为正样本与负样本两部分,而“简单正样本”与“简单负样本”会导致对比梯度趋于消失。为此,我们提出监督式难样本正负对挖掘(supervised hard positive and negative pairs mining)策略,主动筛选具有信息量的样本对用于对比计算,从而提升表示学习能力。最后,为近似最大化两视图之间的互信息,我们提出孪生平衡Softmax(Siamese Balanced Softmax),并将其与对比损失联合优化,实现端到端的一阶段训练。大量实验结果表明,ResCom在多个长尾识别基准数据集上均显著优于现有方法。相关代码与模型已公开发布于:https://github.com/dvlab-research/ResCom。