Amélioration des baselines avec l'apprentissage contrastif par impulsivité

L'apprentissage non supervisé contrastif a récemment montré des progrès encourageants, par exemple dans Momentum Contrast (MoCo) et SimCLR. Dans cette note, nous vérifions l'efficacité de deux améliorations de conception de SimCLR en les implémentant dans le cadre de MoCo. Avec des modifications simples apportées à MoCo — à savoir, l'utilisation d'une tête de projection MLP et une augmentation plus importante des données — nous établissons des lignes de base plus solides qui surpassent les performances de SimCLR et n'exigent pas des batchs d'entraînement volumineux. Nous espérons que cela rendra la recherche sur l'apprentissage non supervisé de pointe plus accessible. Le code sera rendu public.