多目标插值训练以提升对标签噪声的鲁棒性

使用标准交叉熵损失训练的深度神经网络容易对噪声标签产生记忆，从而导致性能下降。现有大多数研究致力于设计新的鲁棒分类损失函数以缓解这一问题。与此相反，本文提出一种多目标插值训练（Multi-Objective Interpolation Training, MOIT）方法，通过联合利用对比学习与分类任务，使二者相互促进，从而提升模型在标签噪声环境下的性能。我们发现，在存在标签噪声的情况下，传统的监督对比学习性能会显著退化，并据此提出一种插值训练策略以缓解该问题。进一步地，我们提出一种新颖的标签噪声检测方法，该方法利用对比学习所获得的鲁棒特征表示，为每个样本估计软标签（soft-label），并通过软标签与原始标签之间的不一致性精准识别出噪声样本。基于此检测结果，可将噪声样本视为未标记数据，采用半监督学习方式训练分类器，从而有效防止噪声记忆并提升表示学习能力。此外，我们进一步提出了MOIT+，即在检测出的干净样本上进行微调的MOIT优化版本。超参数分析与消融实验验证了所提方法中各关键组件的有效性。在合成噪声与真实世界噪声基准数据集上的大量实验表明，MOIT/MOIT+均达到了当前最先进的性能水平。代码已公开，地址为：https://git.io/JI40X。