我的朋友们帮我一点：基于最近邻对比学习的视觉表征

基于实例判别的自监督学习算法通过训练编码器，使其对同一实例的预定义变换保持不变性。尽管大多数方法将同一图像的不同视图视为对比损失中的正样本，我们则关注利用数据集中其他实例的样本作为正样本。我们提出的方法——最近邻对比学习视觉表征（Nearest-Neighbor Contrastive Learning of visual Representations, NNCLR），在隐空间中从数据集中采样最近邻作为正样本。相比预定义的变换，这种方法能够引入更丰富的语义变化。我们发现，在对比损失中使用最近邻作为正样本可显著提升ImageNet分类性能，准确率从71.7%提升至75.6%，超越了此前的最先进方法。在半监督学习基准测试中，当仅使用1%的ImageNet标签时，性能也显著提升，准确率由53.8%提高至56.5%。在迁移学习基准测试中，我们的方法在12个下游数据集中的8个上优于当前最先进的方法（包括使用ImageNet进行监督学习的方法）。此外，我们通过实证表明，该方法对复杂数据增强的依赖程度更低：在仅使用随机裁剪进行训练的情况下，ImageNet Top-1准确率仅下降2.1%，表现出更强的鲁棒性。