协同教学：深度神经网络在极度噪声标签下的鲁棒训练

深度学习在处理带有噪声标签的数据时面临实际挑战，因为深度模型的容量非常高，它们在训练过程中迟早会完全记住这些噪声标签。然而，最近关于深度神经网络记忆效应的研究表明，这些模型首先会记住带有干净标签的训练数据，然后才会记住带有噪声标签的数据。因此，在本文中，我们提出了一种新的深度学习范式——协同教学（Co-teaching），以应对噪声标签问题。具体而言，我们同时训练两个深度神经网络，并让它们在每个小批量数据上互相教学：首先，每个网络前向传播所有数据并选择一些可能带有干净标签的数据；其次，两个网络相互交流在这个小批量中应该使用哪些数据进行训练；最后，每个网络反向传播由其同伴网络选择的数据并更新自身。在带噪声版本的MNIST、CIFAR-10和CIFAR-100上的实证结果表明，协同教学在训练模型的鲁棒性方面远优于现有最先进方法。