HyperAIHyperAI

Command Palette

Search for a command to run...

使深度神经网络对标签噪声鲁棒:一种损失校正方法

Giorgio Patrini Alessandro Rozza Aditya Krishna Menon Richard Nock Lizhen Qu

摘要

我们提出了一种理论基础扎实的方法,用于在类别依赖标签噪声条件下训练深度神经网络,包括循环网络。我们提出了两种损失校正程序,这些程序对应用领域和网络架构均具有普适性。只要我们知道每个类别的标签被错误标记为其他类别的概率,这些程序最多只需进行矩阵求逆和乘法操作即可实现。此外,我们展示了如何估计这些概率,通过将最近的一种噪声估计技术扩展到多类别设置中,从而提供了一个端到端的框架。我们在MNIST、IMDB、CIFAR-10、CIFAR-100以及一个大规模的服装图像数据集上进行了广泛的实验,采用了多种架构——包括全连接层、卷积层、池化层、Dropout层、批归一化层、词嵌入层、LSTM层和残差层——证明了我们方法对噪声的鲁棒性。顺便提一下,我们还证明了当ReLU是唯一的非线性激活函数时,损失曲面对类别依赖标签噪声具有免疫性。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供