无监督视觉表征学习仍然是计算机视觉研究中一个尚未完全解决的问题。在近期提出的大量无监督学习视觉表征的方法中，一类自监督技术在许多具有挑战性的基准测试中表现出色。尽管已经研究了众多用于自监督学习的预训练任务，但其他重要方面，如卷积神经网络（CNN）的选择，并未得到同等关注。因此，我们重新审视了多种先前提出的自监督模型，进行了大规模的深入研究，并揭示了多个关键见解。我们对自监督视觉表征学习中的若干常见做法提出了质疑，并观察到标准的卷积神经网络设计方法并不总是适用于自监督表征学习。作为本研究的一部分，我们显著提升了之前提出的技术的性能，并大幅超越了已发表的最先进结果。