动量对比学习改进基线

对比无监督学习近期取得了令人鼓舞的进展，例如在动量对比（Momentum Contrast, MoCo）和SimCLR中。在这篇笔记中，我们通过在MoCo框架中实现SimCLR的两项设计改进来验证其有效性。通过对MoCo进行简单的修改——即使用多层感知机（MLP）投影头和更多的数据增强技术——我们建立了更强的基线模型，这些模型不仅超越了SimCLR，而且不需要大规模的训练批次。我们希望这能使最先进水平的无监督学习研究更加易于获取。代码将公开发布。