17 天前
L2B:学习自举以构建对抗标签噪声的鲁棒模型
Yuyin Zhou, Xianhang Li, Fengze Liu, Qingyue Wei, Xuxi Chen, Lequan Yu, Cihang Xie, Matthew P. Lungren, Lei Xing

摘要
深度神经网络在表示学习方面已取得显著成功。然而,在存在噪声标签(Label Noise Learning, LNL)的情况下,模型容易发生过拟合,难以泛化到新数据。本文提出一种简单而有效的方法——自举学习(Learning to Bootstrap, L2B),该方法使模型能够利用自身预测结果进行自我引导式训练,同时避免错误伪标签带来的负面影响。L2B通过元学习动态调整真实观测标签与生成标签之间的权重,以及不同样本间的权重,实现对学习过程的自适应优化。与现有实例重加权方法不同,本方法的核心在于提出一种新颖且通用的目标函数,能够隐式地实现标签重校正,从而在不增加额外计算成本的前提下显著提升性能。相较于基线方法,L2B具有多项优势:它能够训练出更具鲁棒性的模型,有效缓解噪声标签的干扰,通过更精准地引导自举过程提升模型稳定性;同时,通过自适应调整样本与标签的权重,更充分地挖掘受损样本中蕴含的有价值信息。此外,L2B与现有LNL方法具有良好的兼容性,在合成噪声与真实世界噪声场景下,均能在图像分类与分割等自然图像及医学图像任务中取得具有竞争力的性能表现。大量实验表明,该方法能有效应对噪声标签带来的挑战,通常仅需极少甚至无需验证样本,且具备良好的泛化能力,可广泛应用于图像分割等其他任务。这不仅使其成为现有LNL技术的有力补充,更凸显其在实际应用中的广泛潜力。代码与模型已开源,详见:https://github.com/yuyinzhou/l2b。