大规模图像分类中的相关输入依赖标签噪声

大规模图像分类数据集通常包含噪声标签。本文提出一种基于概率建模的系统性方法，用于刻画输入相关的标签噪声（即异方差性噪声）。我们在神经网络分类器的最终隐藏层上引入一个服从多元正态分布的潜在变量，其协方差矩阵用于建模由标签噪声引起的随机不确定性（aleatoric uncertainty）。实验表明，所学习到的协方差结构能够有效捕捉语义相似类别与共现类别之间的已知噪声来源。与标准神经网络训练方法及其他基线方法相比，本方法在多个基准数据集上均取得了显著提升：在 ImageNet ILSVRC 2012 上达到 79.3% 的准确率（提升 +2.6%），在 ImageNet-21k 上达到 47.0%（提升 +1.1%），在 JFT 数据集上达到 64.7%（提升 +1.6%）。此外，我们在 WebVision 1.0 数据集上取得了 76.6% 的 top-1 准确率，创下新的最先进水平。这些数据集的训练样本数量从超过 100 万到超过 3 亿不等，类别数从 1,000 到超过 21,000。我们的方法实现简单，易于部署，提供了一个可直接替换深度分类器最后一层全连接层的即插即用式实现。