2 个月前
Meta-Weight-Net:学习样本加权的显式映射
Jun Shu; Qi Xie; Lixuan Yi; Qian Zhao; Sanping Zhou; Zongben Xu; Deyu Meng

摘要
当前的深度神经网络(DNNs)容易对带有标签噪声或类别不平衡的偏差训练数据过拟合。样本重加权策略通常用于通过设计一个从训练损失到样本权重的映射函数来缓解这一问题,然后在权重重新计算和分类器更新之间进行迭代。然而,现有的方法需要手动预设权重函数及其额外的超参数,这使得它们在实际应用中难以广泛使用,因为合适的加权方案会因研究的问题和训练数据的不同而有显著变化。为了解决这一问题,我们提出了一种能够直接从数据中自适应学习显式权重函数的方法。该权重函数是一个具有单隐藏层的多层感知机(MLP),可以作为几乎任何连续函数的通用逼近器,从而使该方法能够适应广泛的权重函数,包括传统研究中假设的那些。在少量无偏元数据的指导下,权重函数的参数可以在分类器的学习过程中同时精细更新。合成实验和真实实验验证了我们的方法在类别不平衡和标签噪声情况下实现适当权重函数的能力,完全符合传统方法中的常见设置,并且适用于比常规情况更复杂的场景。这自然导致其准确性优于其他最先进的方法。