重标注ImageNet：从单标签到多标签，从全局标签到局部标签

ImageNet 无疑是最具影响力的图像分类基准数据集，但其也存在显著的标签噪声问题。近期研究表明，尽管 ImageNet 被视为单标签标注的基准，但许多样本实际上包含多个类别。因此，研究者提出将 ImageNet 的评估任务转变为多标签分类任务，并为每张图像提供详尽的多标签标注。然而，这些工作并未对训练集进行修正，推测主要原因是标注成本过高。我们认为，在训练阶段，单标签标注与实际具有多对象特性的图像之间存在显著不匹配，这一问题甚至可能比评估阶段更为严重，尤其是在使用随机裁剪（random crops）的情况下。由于单标签标注的限制，一张图像的随机裁剪区域可能包含与原始标签完全不同的物体，从而在训练过程中引入噪声甚至错误的监督信号。为此，我们对 ImageNet 训练集进行了多标签重标注。为克服高昂的标注成本，我们采用一个在额外数据源上预训练的强图像分类模型，自动生成多标签标注。特别地，我们利用网络在最终池化层之前的像素级多标签预测结果，以充分挖掘具有空间位置信息的监督信号。在重标注后的训练样本上进行训练，显著提升了模型在各类任务上的性能表现。以 ResNet-50 为例，在我们提出的局部化多标签标注下，其在 ImageNet 上的 Top-1 分类准确率达到了 78.9%，若进一步结合 CutMix 正则化方法，准确率可进一步提升至 80.2%。我们还验证了基于局部化多标签训练的模型在迁移学习任务中的优越性，包括目标检测和实例分割任务，以及多种鲁棒性基准测试，结果均显著优于现有基线方法。我们已将重标注后的 ImageNet 训练集、预训练权重及源代码公开，获取地址为：{https://github.com/naver-ai/relabel_imagenet}。