自举潜在表示：一种新的自监督学习方法

我们介绍了一种新的自监督图像表示学习方法——Bootstrap Your Own Latent（BYOL）。BYOL 依赖于两个神经网络，分别称为在线网络和目标网络，这两个网络相互作用并从对方学习。我们通过图像的一种增强视图训练在线网络，使其预测同一图像在不同增强视图下的目标网络表示。同时，我们使用在线网络的缓慢移动平均值来更新目标网络。尽管当前最先进的方法依赖于负样本对，但 BYOL 在没有负样本对的情况下达到了新的最先进水平。使用 ResNet-50 架构进行线性评估时，BYOL 在 ImageNet 上的 top-1 分类准确率达到了 74.3%，而使用更大的 ResNet 架构时则达到了 79.6%。我们展示了 BYOL 在迁移学习和半监督学习基准测试中表现与当前最先进方法相当或更优。我们的实现代码和预训练模型已在 GitHub 上提供。