L’apprentissage auto-supervisé présente un fort potentiel pour exploiter de grandes quantités de données non étiquetées, mais une grande partie de ses progrès jusqu’à présent s’est limitée à des jeux de données de pré-entraînement fortement curatifs, tels que ImageNet. Nous explorons les effets de l’apprentissage par contraste à partir de jeux de données d’images plus volumineux et moins curatifs, comme YFCC, et constatons effectivement une différence importante dans la qualité des représentations obtenues. Nous hypothesons que cet écart de curatisme s’explique par un changement dans la distribution des classes d’images — plus diversifiée et à queue lourde — entraînant ainsi des exemples négatifs moins pertinents pour l’apprentissage. Nous testons cette hypothèse à l’aide d’une nouvelle approche, appelée Divide and Contrast (DnC), qui alterne entre apprentissage par contraste et extraction de négatifs difficiles basée sur le regroupement (clustering). Lorsqu’il est pré-entraîné sur des jeux de données moins curatifs, DnC améliore considérablement les performances de l’apprentissage auto-supervisé sur des tâches en aval, tout en restant compétitif avec l’état de l’art actuel sur des jeux de données curatifs.