L'apprentissage non supervisé de représentations visuelles reste un problème largement non résolu dans la recherche en vision par ordinateur. Parmi les nombreuses approches récemment proposées pour l'apprentissage non supervisé de représentations visuelles, une classe de techniques d'auto-apprentissage obtient des performances supérieures sur de nombreux benchmarks difficiles. De nombreuses tâches prétextes pour l'auto-apprentissage ont été étudiées, mais d'autres aspects importants, tels que le choix des réseaux neuronaux convolutifs (CNN), n'ont pas reçu une attention équivalente. Par conséquent, nous reprenons de nombreux modèles d'auto-apprentissage précédemment proposés, menons une étude approfondie à grande échelle et, en résulte, dévoilons plusieurs insights cruciaux. Nous remettons en question un certain nombre de pratiques courantes dans l'apprentissage non supervisé de représentations visuelles et observons que les recettes standards pour la conception des CNN ne se traduisent pas toujours par des performances similaires dans l'apprentissage de représentations auto-supervisées. Dans le cadre de notre étude, nous améliorons considérablement les performances des techniques précédemment proposées et surpassons les résultats publiés antérieurement comme étant l'état de l'art avec une marge importante.