8 天前

基于样本先验引导的鲁棒模型学习以抑制噪声标签

Wenkai Chen, Chuang Zhu, Yi Chen, Mengting Li, Tiejun Huang
基于样本先验引导的鲁棒模型学习以抑制噪声标签
摘要

在现实世界的数据集中,不完美标签普遍存在,严重损害模型性能。近年来,针对噪声标签的若干有效方法通常包含两个关键步骤:1)通过训练损失将样本划分为标注正确和标注错误的集合;2)利用半监督方法为标注错误的样本生成伪标签。然而,现有方法往往因困难样本与噪声样本在损失分布上相似,导致具有信息量的困难样本被误伤。为此,本文提出一种新型框架——先验引导去噪框架(Prior Guided Denoising Framework, PGDF),旨在通过生成样本的先验知识,指导深度模型有效抑制噪声,该先验知识被整合至样本划分与半监督伪标签生成两个阶段。所提框架能够将更多具有信息量的困难干净样本保留在标注正确的集合中。此外,在半监督阶段,该框架通过抑制当前伪标签生成过程中的噪声,进一步提升了伪标签的质量。为进一步增强困难样本的训练效果,我们在训练过程中对标注正确的样本集合中的样本进行重加权。我们在基于CIFAR-10和CIFAR-100构建的合成数据集,以及真实世界数据集WebVision和Clothing1M上对所提方法进行了评估。实验结果表明,该方法在多个基准上显著优于现有最先进方法。