使深度神经网络对标签噪声鲁棒：一种损失校正方法

我们提出了一种理论基础扎实的方法，用于在类别依赖标签噪声条件下训练深度神经网络，包括循环网络。我们提出了两种损失校正程序，这些程序对应用领域和网络架构均具有普适性。只要我们知道每个类别的标签被错误标记为其他类别的概率，这些程序最多只需进行矩阵求逆和乘法操作即可实现。此外，我们展示了如何估计这些概率，通过将最近的一种噪声估计技术扩展到多类别设置中，从而提供了一个端到端的框架。我们在MNIST、IMDB、CIFAR-10、CIFAR-100以及一个大规模的服装图像数据集上进行了广泛的实验，采用了多种架构——包括全连接层、卷积层、池化层、Dropout层、批归一化层、词嵌入层、LSTM层和残差层——证明了我们方法对噪声的鲁棒性。顺便提一下，我们还证明了当ReLU是唯一的非线性激活函数时，损失曲面对类别依赖标签噪声具有免疫性。