HyperAIHyperAI

Command Palette

Search for a command to run...

严厉的教师是更好的榜样:权重平均一致性目标改善半监督深度学习结果

Antti Tarvainen; Harri Valpola

摘要

最近提出的时序集成(Temporal Ensembling)方法在多个半监督学习基准测试中取得了最先进的结果。该方法对每个训练样本的标签预测值维护一个指数移动平均值,并对与该目标不一致的预测进行惩罚。然而,由于目标仅在每个epoch结束时更新一次,因此在处理大规模数据集时,时序集成变得难以管理。为了解决这一问题,我们提出了一种名为均值教师(Mean Teacher)的方法,该方法对模型权重进行平均而不是标签预测值。此外,均值教师提高了测试准确性,并且能够在比时序集成更少的标签下进行训练。在不改变网络架构的情况下,均值教师在使用250个标签的SVHN数据集上实现了4.35%的错误率,优于使用1000个标签训练的时序集成。我们还表明,良好的网络架构对于性能至关重要。通过结合均值教师和残差网络(Residual Networks),我们将CIFAR-10数据集上使用4000个标签的最先进错误率从10.55%降低到6.28%,并在ImageNet 2012数据集上使用10%的标签将错误率从35.24%降低到9.11%。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供