弱监督对比学习

无监督视觉表征学习近年来因对比学习（contrastive learning）的进展而受到计算机视觉领域的广泛关注。现有的大多数对比学习框架均采用“实例判别”（instance discrimination）作为预训练任务，即将每一个独立样本视为一个不同的类别。然而，这种方法不可避免地引发类别碰撞（class collision）问题，从而损害所学表征的质量。基于这一观察，我们提出了一种弱监督对比学习框架（Weakly Supervised Contrastive Learning, WCL），以缓解该问题。具体而言，所提出的WCL框架基于两个投影头（projection head）：其中一个投影头执行传统的实例判别任务；另一个投影头则采用基于图的方法，挖掘具有相似性的样本，并生成弱标签（weak label），随后基于该弱标签执行监督式对比学习，将相似图像拉近。此外，我们引入了一种基于K近邻（K-Nearest Neighbor）的多裁剪（multi-crop）策略，以扩充正样本的数量。大量实验结果表明，WCL在多个数据集上均显著提升了自监督表征的质量。尤为突出的是，我们在半监督学习任务中取得了新的最先进（state-of-the-art）性能：仅使用1%和10%的标注样本，WCL在ImageNet数据集上使用ResNet50模型即可分别达到65%和72%的Top-1准确率，这一结果甚至超过了使用ResNet101的SimCLRv2模型。