基于解耦元标签净化器的噪声标签学习

使用噪声标签训练深度神经网络（DNN）具有挑战性，因为DNN容易记忆错误的标签，从而导致泛化能力下降。近年来，基于元学习的标签修正策略被广泛采用，通过利用少量干净的验证数据来识别并修正潜在的噪声标签，以缓解该问题。尽管使用净化后的标签进行训练能够显著提升模型性能，但求解元学习问题不可避免地涉及模型权重与超参数（即标签分布）之间的双层嵌套优化。为权衡这一复杂性，以往方法通常采用交替更新的耦合学习过程。本文通过实证研究发现，同时对模型权重与标签分布进行优化难以达到最优训练流程，从而限制了主干网络的表征能力以及修正标签的准确性。基于此观察，本文提出一种新型多阶段标签净化器——DMLP（Decoupled Multi-stage Label Purifier）。DMLP将标签修正过程解耦为“无标签表征学习”与“简单元标签净化”两个独立阶段，使模型能够在不同阶段分别专注于提取判别性特征与精确的标签修正。DMLP是一种即插即用的标签净化模块，其输出的净化标签可直接用于传统的端到端网络重训练，或与其他鲁棒学习方法结合，已在多个合成及真实世界噪声数据集上取得当前最优性能，尤其在高噪声水平下表现尤为突出。