大规模自监督模型是强大的半监督学习者

一种在仅使用少量标注样本的同时充分利用大量未标注数据进行学习的范式，是无监督预训练结合有监督微调。尽管该范式以任务无关的方式利用未标注数据，与计算机视觉领域常见的半监督学习方法不同，我们发现其在ImageNet上的半监督学习任务中表现出令人惊讶的高效性。我们方法的关键在于：在预训练和微调阶段均采用大规模（深度与宽度均较大）的网络结构。我们发现，标注数据越少，该方法（即任务无关地利用未标注数据）就越能从更大规模的网络中获益。在完成微调后，可通过第二次以任务相关的方式利用未标注样本，对大网络进行进一步优化并将其知识蒸馏为一个显著更小的模型，同时几乎不损失分类准确率。所提出的半监督学习算法可概括为三个步骤：首先，使用SimCLRv2对大型ResNet模型进行无监督预训练；其次，在少量标注样本上进行有监督微调；最后，利用未标注样本进行知识蒸馏，以精炼并迁移任务相关的知识。该方法仅使用1%的标注数据（每类不超过13张标注图像），便在ResNet-50上实现了73.9%的ImageNet Top-1准确率，相较于此前最先进的方法，标签使用效率提升了10倍。当使用10%的标注数据时，采用本方法训练的ResNet-50达到77.5%的Top-1准确率，显著优于使用全部标注数据的标准有监督训练。