噪声标签学习中的早停策略：理解与改进

深度神经网络（DNN）的记忆效应在众多前沿的标签噪声学习方法中起着关键作用。为了利用这一特性，通常采用“早停”（early stopping）策略，即在训练初期就终止优化过程。现有方法普遍将DNN视为一个整体来确定早停点，然而，DNN实际上可被看作一系列层的组合。我们发现，DNN中较深层对标签噪声更为敏感，而浅层则表现出较强的鲁棒性。因此，若对整个网络统一设定一个早停点，可能导致不同层次之间相互干扰，从而降低最终性能。为此，本文提出将DNN分解为多个部分，并采用渐进式训练策略来解决该问题。与传统早停方法——一次性训练整个网络——不同，我们首先以较多训练轮次优化DNN的浅层部分；在训练过程中，逐步以较少轮次训练深层部分，同时固定已训练的浅层参数，以缓解噪声标签带来的负面影响。我们将该方法称为渐进式早停（Progressive Early Stopping, PES）。尽管PES方法结构简单，但相较于传统早停策略，其能显著提升模型在标签噪声环境下的性能表现，获得更加优异且稳定的训练结果。此外，通过将PES与现有噪声标签学习方法相结合，我们在多个图像分类基准测试中取得了当前最优的性能表现。