HyperAIHyperAI

Command Palette

Search for a command to run...

L_DMI:一种新型信息论损失函数,用于训练对标签噪声具有鲁棒性的深度网络

Yilun Xu Yuqing Kong Peng Cao Yizhou Wang

摘要

大规模数据集的精确标注在时间和金钱成本上都极为昂贵。尽管获取低质量标注数据集的成本要低得多,但若未经特殊处理直接使用此类数据训练模型,通常会严重损害模型性能。针对噪声标签的学习已提出多种方法,然而大多数方法仅能处理有限类型的噪声模式,或依赖额外信息与步骤(例如需已知或估计噪声转移矩阵),或缺乏理论依据。本文提出一种新型信息论损失函数——L_DMI,用于训练对标签噪声具有鲁棒性的深度神经网络。L_DMI的核心是一种广义互信息形式,称为基于行列式的互信息(Determinant-based Mutual Information, DMI),该度量不仅具备信息单调性,还具有相对不变性。据我们所知,L_DMI是首个在理论上可证明对任意独立于样本的标签噪声均具有鲁棒性的损失函数,且其鲁棒性不依赖于具体噪声模式。该方法可直接应用于任何现有分类神经网络,无需额外辅助信息。除了提供充分的理论支持外,实验结果还表明,在多种合成噪声模式与噪声比例下,L_DMI在图像数据集(如Fashion-MNIST、CIFAR-10、Dogs vs. Cats)和自然语言数据集(如MR)以及真实世界数据集Clothing1M上的分类任务中,均显著优于其他所有对比方法。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
L_DMI:一种新型信息论损失函数,用于训练对标签噪声具有鲁棒性的深度网络 | 论文 | HyperAI超神经