SynCo : Négatifs Difficiles Synthétiques pour l'Apprentissage de Représentations Visuelles Contrastives

L'apprentissage par contraste est devenu une approche dominante dans l'apprentissage non supervisé des représentations visuelles, mais l'exploitation efficace des négatifs difficiles, qui sont des échantillons ressemblant étroitement à l'échantillon de référence, reste un défi. Nous présentons SynCo (négatifs synthétiques en apprentissage par contraste), une nouvelle méthode qui améliore les performances du modèle en générant des négatifs difficiles synthétiques dans l'espace de représentation. En s'appuyant sur le cadre MoCo, SynCo introduit six stratégies pour créer divers négatifs difficiles synthétiques en temps réel avec un surcoût computationnel minimal. SynCo permet un entraînement plus rapide et une forte apprentissage de représentations, surpassant MoCo-v2 de +0,4 % et MoCHI de +1,0 % lors de l'évaluation linéaire sur ImageNet ILSVRC-2012. Il se transfère également plus efficacement aux tâches de détection, obtenant d'excellents résultats sur la détection PASCAL VOC (57,2 % AP) et améliorant considérablement les performances de MoCo-v2 sur la détection COCO (+1,0 % AP) et la segmentation d'instances (+0,8 % AP). Notre approche de génération de négatifs difficiles synthétiques renforce significativement les représentations visuelles apprises par l'apprentissage non supervisé par contraste.