Avec un peu d’aide de mes amis : apprentissage contrastif par plus proches voisins des représentations visuelles

Les algorithmes d'apprentissage auto-supervisé fondés sur la discrimination d'instances entraînent les encodeurs à être invariants face à des transformations prédéfinies appliquées à la même instance. Alors que la plupart des méthodes considèrent différentes vues de la même image comme des exemples positifs dans une perte contrastive, nous nous intéressons à utiliser des exemples positifs provenant d'autres instances du jeu de données. Notre méthode, appelée Nearest-Neighbor Contrastive Learning of visual Representations (NNCLR), échantillonne les voisins les plus proches dans l'espace latent du jeu de données, et les traite comme des positifs. Cela permet d'obtenir une variation sémantique plus riche que les transformations prédéfinies.Nous constatons que l'utilisation des voisins les plus proches comme exemples positifs dans les pertes contrastives améliore significativement les performances sur la classification ImageNet, passant de 71,7 % à 75,6 %, surpassant ainsi les méthodes de pointe précédentes. Sur les benchmarks d'apprentissage semi-supervisé, nous observons une amélioration notable lorsque seuls 1 % des étiquettes ImageNet sont disponibles, passant de 53,8 % à 56,5 %. Sur les benchmarks d'apprentissage transféré, notre méthode dépasse les méthodes de pointe (y compris l'apprentissage supervisé sur ImageNet) sur 8 des 12 jeux de données de tâches downstream. En outre, nous démontrons empiriquement que notre méthode est moins dépendante des augmentations de données complexes. Nous observons une diminution relative de seulement 2,1 % de la précision Top-1 ImageNet lorsqu'on entraîne uniquement avec des coupes aléatoires.