8 天前

基于特征相关标签噪声的学习:一种渐进式方法

Yikai Zhang, Songzhu Zheng, Pengxiang Wu, Mayank Goswami, Chao Chen
基于特征相关标签噪声的学习:一种渐进式方法
摘要

在真实世界的大规模数据集中,标签噪声普遍存在。这种噪声由多种因素引入,具有异质性且依赖于特征。现有的大多数处理标签噪声的方法主要分为两类:一类假设噪声为理想化的、与特征无关的独立同分布(i.i.d.)噪声;另一类则依赖启发式策略,缺乏理论保证。本文提出针对一类新型的特征依赖型标签噪声,该类噪声比常用的i.i.d.噪声更具一般性,能够涵盖广泛的噪声模式。针对这一广义噪声类别,我们提出一种渐进式标签修正算法,通过迭代地修正标签并优化模型实现性能提升。我们提供了理论保证,证明在多种(未知的)噪声模式下,采用该策略训练出的分类器能够收敛至与贝叶斯分类器一致。实验结果表明,所提方法在多个基准任务上均优于当前最优(SOTA)方法,并对不同类型的噪声及噪声水平表现出良好的鲁棒性。