摘要
作为典型的自监督学习方法，对比学习在无监督表征训练方面取得了显著成功。其通过区分查询锚点（query anchors）对应的正样本与负样本，来训练编码器。正样本与负样本在定义学习目标、引导编码器提取具有判别性的特征方面起着关键作用，有助于避免模型学习到平凡的特征。然而，现有方法通常采用启发式策略选择这些样本。本文提出一种具有理论依据的方法，使得正样本与负样本均可与编码器端到端地联合学习。我们证明，通过最小化和最大化对比损失，正样本与负样本能够以协同与对抗的方式共同优化。由此产生的协同正样本与对抗负样本会随着训练过程动态更新，持续追踪查询锚点在小批量数据中的表征变化。所提方法在ImageNet1K数据集上对ResNet-50主干网络进行200和800轮预训练时，分别取得了71.3%和75.3%的Top-1准确率，且无需依赖多裁剪（multi-crop）或更强的数据增强等技巧。引入多裁剪策略后，性能进一步提升至75.7%。相关源代码与预训练模型已开源，地址为：https://github.com/maple-research-lab/caco。