17 天前

带噪声标签的孪生对比学习

Zhizhong Huang, Junping Zhang, Hongming Shan
带噪声标签的孪生对比学习
摘要

从含噪声数据中学习是一项极具挑战性的任务,会显著降低模型的性能。本文提出了一种新型的双对比学习模型——TCL(Twin Contrastive Learning),用于学习鲁棒的特征表示并有效处理分类任务中的噪声标签。具体而言,我们通过将监督模型的预测结果注入高斯混合模型(GMM),构建了基于表示的GMM,从而将GMM中的无标签隐变量与存在噪声的标签注释建立关联。随后,TCL利用另一个双成分GMM,结合数据分布特性,将标签错误的样本识别为分布外(out-of-distribution)样本。为进一步提升对噪声标签的处理能力,我们提出了一种交叉监督机制,并引入熵正则化损失函数,通过模型预测自举生成真实目标标签。由此,TCL能够通过Mixup与对比学习相结合的方式,学习到与估计标签对齐的判别性表示。在多个标准基准数据集及真实世界数据集上的大量实验结果表明,TCL具有卓越的性能表现。特别是在CIFAR-10数据集上,当标签噪声率达90%(极端噪声场景)时,TCL取得了7.5%的性能提升。项目源代码已开源,地址为:\url{https://github.com/Hzzone/TCL}。