摘要
基于深度神经网络的分类器在使用类别交叉熵（Categorical Cross-Entropy, CCE）损失函数进行训练时，对训练数据中的标签噪声十分敏感。一种常见的缓解标签噪声影响的方法可被视为有监督的鲁棒学习方法：只需将CCE损失替换为对标签噪声具有鲁棒性的损失函数，或对训练样本进行重加权，降低高损失样本的权重即可。近年来，另一种基于半监督学习（Semi-Supervised Learning, SSL）的方法被提出，该方法通过增强传统的有监督鲁棒方法，更有效地利用（可能含噪声的）未标记样本。尽管有监督鲁棒方法在多种数据类型上表现良好，但在存在标签噪声的图像分类任务中，其性能已被证明逊于SSL方法。因此，一个关键问题仍待解答：若这些有监督鲁棒方法能够更有效地利用未标记样本，是否也能实现卓越的性能？本文表明，通过使用对比学习（contrastive learning）所提取的表示来初始化有监督鲁棒方法，可在标签噪声环境下显著提升其性能。令人惊讶的是，即使是最简单的方法——使用CCE损失训练分类器——在采用对比学习进行初始化后，在高标签噪声条件下，其性能也能超过当前最先进的SSL方法超过50%。我们的代码实现将公开发布于：{\url{https://github.com/arghosh/noisy_label_pretrain}}。