17 天前

通过高效转移矩阵估计实现带噪声标签的学习以对抗标签误修正

Seong Min Kye, Kwanghee Choi, Joonyoung Yi, Buru Chang
通过高效转移矩阵估计实现带噪声标签的学习以对抗标签误修正
摘要

近期关于噪声标签学习的研究表明,利用少量干净数据集可显著提升模型性能。特别是基于模型无关元学习(model-agnostic meta-learning)的标签修正方法,能够在训练过程中动态修正噪声标签,进一步提升性能。然而,此类方法缺乏对标签误修正的有效防护机制,导致不可避免的性能下降。此外,每个训练步骤至少需要三次反向传播,严重拖慢了训练速度。为缓解上述问题,本文提出一种鲁棒且高效的动态学习标签转移矩阵的方法。通过引入标签转移矩阵,使分类器对所有经修正的样本保持审慎态度,从而有效缓解误修正问题。同时,我们设计了一种双头(two-head)网络结构,可在单次反向传播中高效估计每轮迭代的标签转移矩阵,使估计结果能够紧密追踪由标签修正所引起的噪声分布变化。大量实验结果表明,所提方法在训练效率方面表现最优,同时在准确率上与现有方法相当甚至更优,展现出卓越的综合性能。