分歧如何帮助模型在标签污染下泛化？

带噪声标签的学习是弱监督学习中最热门的问题之一。基于深度神经网络的记忆效应，对小损失实例进行训练成为处理噪声标签的一种非常有前景的方法。这促进了最先进的方法“协同教学”（Co-teaching）的发展，该方法通过小损失技巧交叉训练两个深度神经网络。然而，随着训练轮数的增加，两个网络逐渐达成共识，协同教学退化为自训练的MentorNet。为了解决这一问题，我们提出了一种称为“协同教学+”（Co-teaching+）的鲁棒学习范式，该范式将“通过分歧更新”（Update by Disagreement）策略与原始的协同教学相结合。首先，两个网络前向传播并预测所有数据，但仅保留预测结果存在分歧的数据。然后，在这些分歧数据中，每个网络选择其小损失数据，但反向传播来自其同伴网络的小损失数据以更新自身的参数。在基准数据集上的实证结果表明，“协同教学+”在训练模型的鲁棒性方面显著优于许多现有最先进方法。