HyperAIHyperAI

Command Palette

Search for a command to run...

协同教学:深度神经网络在极度噪声标签下的鲁棒训练

Bo Han Quanming Yao Xingrui Yu Gang Niu Miao Xu Weihua Hu Ivor W. Tsang Masashi Sugiyama

摘要

深度学习在处理带有噪声标签的数据时面临实际挑战,因为深度模型的容量非常高,它们在训练过程中迟早会完全记住这些噪声标签。然而,最近关于深度神经网络记忆效应的研究表明,这些模型首先会记住带有干净标签的训练数据,然后才会记住带有噪声标签的数据。因此,在本文中,我们提出了一种新的深度学习范式——协同教学(Co-teaching),以应对噪声标签问题。具体而言,我们同时训练两个深度神经网络,并让它们在每个小批量数据上互相教学:首先,每个网络前向传播所有数据并选择一些可能带有干净标签的数据;其次,两个网络相互交流在这个小批量中应该使用哪些数据进行训练;最后,每个网络反向传播由其同伴网络选择的数据并更新自身。在带噪声版本的MNIST、CIFAR-10和CIFAR-100上的实证结果表明,协同教学在训练模型的鲁棒性方面远优于现有最先进方法。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供