摘要
我们提出了一种网络弱监督表示学习方法，该方法既避免了监督学习中标注数据难以扩展的问题，也克服了自监督学习在计算上难以扩展的瓶颈。现有大多数弱监督表示学习工作采用传统的监督学习范式，未充分考虑训练数据中普遍存在的噪声问题；而以往针对标签噪声的学习方法在处理现实世界大规模噪声数据时效果有限。为此，我们提出动量原型（Momentum Prototypes, MoPro），一种简洁的对比学习方法，能够实现在线标签噪声修正、分布外样本剔除以及表示学习。MoPro 在 WebVision 数据集（一个弱标注且含噪声的数据集）上取得了当前最优性能。此外，当将预训练模型迁移至下游图像分类与检测任务时，MoPro 也表现出卓越性能：在 VOC 数据集上进行 1 次样本分类时，相较于 ImageNet 监督预训练模型，准确率提升 10.5 个百分点；在仅使用 1% 的 ImageNet 标注样本进行微调时，相较于最优的自监督预训练模型，准确率提升 17.3 个百分点。更重要的是，MoPro 对分布偏移具有更强的鲁棒性。代码与预训练模型已开源，详见：https://github.com/salesforce/MoPro。