无监督标签噪声建模与损失校正

尽管卷积神经网络在使用随机梯度方法训练时对少量标签噪声具有鲁棒性，但已有研究表明它们可以轻松拟合随机标签。当目标标签中同时包含正确和错误标记的数据时，网络倾向于先拟合正确的标签再拟合错误的标签。这表明可以使用合适的双组分混合模型作为训练过程中样本损失值的无监督生成模型，以实现在线估计样本被错误标记的概率。具体而言，我们提出使用贝塔混合模型来估计这一概率，并通过依赖网络预测（即所谓的自举损失）来校正损失。我们进一步改进了mixup增强技术，以推动我们的方法更进一步。在CIFAR-10/100和TinyImageNet上的实验结果表明，该方法对标签噪声的鲁棒性显著优于近期的最先进方法。源代码可在https://git.io/fjsvE 获取。