基于维度的学习在噪声标签下的应用

含有大量噪声（错误）类别标签的数据集对训练准确的深度神经网络（DNNs）提出了挑战。本文提出了一种新的视角来理解在这些数据集上训练的DNN泛化性能，通过研究训练样本的深层表示子空间的维度来进行探讨。我们发现，从维度的角度来看，当使用干净标签进行训练时，与使用部分噪声标签进行训练相比，DNNs表现出截然不同的学习模式。基于这一发现，我们开发了一种新的以维度驱动的学习策略，该策略在训练过程中监控子空间的维度，并相应地调整损失函数。实验结果表明，我们的方法对大量噪声标签具有很高的容忍度，并且能够有效地学习到捕捉数据分布的低维局部子空间。