对比分割：面向噪声标签学习的自监督预训练

学习带噪声标签（Learning with Noisy Labels, LNL）方法的成功在很大程度上依赖于一个“预热阶段”（warm-up stage），该阶段采用完整的（含噪声的）训练数据集进行标准的监督学习训练。本文中，我们识别出一个关键问题——“预热障碍”：标准的预热阶段难以训练出高质量的特征提取器，也无法有效避免对噪声标签的记忆。为此，我们提出了一种名为“对比分割”（Contrast to Divide, C2D）的简单框架，该框架通过自监督方式对特征提取器进行预训练，从而解决上述问题。自监督预训练显著提升了现有LNL方法的性能，大幅降低了预热阶段对噪声水平的敏感性，缩短了其持续时间，并提升了所提取特征的质量。C2D可与现有方法无缝集成，无需额外调整，即可实现显著的性能提升，尤其在高噪声场景下表现突出。例如，在CIFAR-100数据集上，当噪声比例高达90%时，C2D相较于此前的最先进方法，准确率提升超过27%。在真实场景下的噪声设置中，基于mini-WebVision训练的C2D在WebVision和ImageNet验证集上的Top-1准确率均比之前的方法高出3%。我们对C2D框架进行了深入分析，包括比较不同预训练策略的性能表现，并估算了结合半监督学习时LNL方法的理论性能上限。用于复现实验的代码已公开，地址为：https://github.com/ContrastToDivide/C2D