基于对比检测的高效视觉预训练

自监督预训练已被证明能够生成适用于迁移学习的强大表征。然而，这些性能提升伴随着巨大的计算开销，当前最先进的方法所需的计算量比有监督预训练高出一个数量级。为解决这一计算瓶颈，我们提出了一种新的自监督学习目标——对比检测（contrastive detection），该目标要求模型在图像的多种增强版本中识别出对象级别的特征。这一目标能够在每张图像上提取丰富的学习信号，从而在多种下游任务上实现当前最优的迁移学习准确率，同时将预训练所需的计算量减少多达10倍。特别地，我们最强的ImageNet预训练模型在性能上已与SEER相当——SEER是迄今为止规模最大的自监督系统之一，其预训练数据量高达我们的1000倍。最后，我们的方法可无缝应用于更复杂的图像数据集（如COCO），在从COCO到PASCAL的迁移学习任务中，显著缩小了与有监督迁移学习之间的差距。