2 个月前

从噪声标签数据中学习如何学习

Junnan Li; Yongkang Wong; Qi Zhao; Mohan Kankanhalli
从噪声标签数据中学习如何学习
摘要

尽管深度神经网络(DNNs)在图像分类任务中取得了成功,但达到人类水平的性能依赖于大量高质量的手动标注训练数据,这些数据的收集既昂贵又耗时。互联网上存在许多低成本的数据源,但它们往往包含不准确的标签。使用带有噪声标签的数据集进行训练会导致性能下降,因为DNNs很容易过拟合到标签噪声。为了解决这一问题,我们提出了一种抗噪训练算法,在常规梯度更新之前执行元学习更新。所提出的元学习方法通过生成合成噪声标签来模拟实际训练过程,并训练模型使得在每次使用一组合成噪声标签进行一次梯度更新后,模型不会过拟合到特定的噪声。我们在带有噪声标签的CIFAR-10数据集和Clothing1M数据集上进行了广泛的实验。实验结果表明,与几种最先进的基线方法相比,所提出的方法具有显著的优势性能。