Un Cadre Simple pour l'Apprentissage Contrastif des Représentations Visuelles

Ce document présente SimCLR : un cadre simple pour l'apprentissage par contraste des représentations visuelles. Nous simplifions les algorithmes d'apprentissage auto-supervisé par contraste récemment proposés sans nécessiter des architectures spécialisées ou une banque de mémoire. Pour comprendre ce qui permet aux tâches de prédiction par contraste d'apprendre des représentations utiles, nous étudions systématiquement les composants majeurs de notre cadre. Nous montrons que (1) la composition des augmentations de données joue un rôle crucial dans la définition de tâches prédictives efficaces, (2) l'introduction d'une transformation non linéaire apprenable entre la représentation et la perte contrastive améliore considérablement la qualité des représentations apprises, et (3) l'apprentissage par contraste bénéficie de tailles de lots plus importantes et de plus d'étapes d'entraînement comparativement à l'apprentissage supervisé. En combinant ces découvertes, nous sommes en mesure de surpasser considérablement les méthodes précédentes pour l'apprentissage auto-supervisé et semi-supervisé sur ImageNet. Un classifieur linéaire formé sur les représentations auto-supervisées apprises par SimCLR atteint une précision top-1 de 76,5%, ce qui représente une amélioration relative de 7% par rapport à l'état de l'art précédent, égalant ainsi les performances d'un ResNet-50 supervisé. Lorsqu'il est affiné avec seulement 1% des étiquettes, nous obtenons une précision top-5 de 85,8%, surpassant AlexNet avec 100 fois moins d'étiquettes.