摘要
现代神经网络往往容易对现实数据集中常见的噪声标签产生过拟合。尽管已有大量研究取得进展，但现有方法在为噪声标签训练下的神经网络性能提供理论保障方面仍存在局限。本文提出一种具有强理论保证的新方法，用于实现基于噪声标签的深度网络鲁棒训练。该方法的核心思想是选取一组加权的干净数据子集（即共轭子集，coresets），使得其对应的雅可比矩阵近似低秩。我们进一步证明，对这些子集应用梯度下降算法时，网络不会对噪声标签产生过拟合。大量实验结果验证了理论分析的正确性，并表明在所提子集上训练的深度网络，其性能显著优于当前最先进的方法：在带有80%噪声标签的CIFAR-10数据集上，准确率提升6%；在mini Webvision数据集上，准确率提升达7%。