Si votre distribution de données évolue, utilisez l'apprentissage auto-entraîné

Nous démontrons que des techniques d’apprentissage auto-supervisé telles que la minimisation d’entropie et la pseudo-étiquetage sont simples et efficaces pour améliorer les performances d’un modèle de vision par ordinateur déployé en présence de décalages de domaine systématiques. Nous menons une large gamme d’expériences à grande échelle et montrons des améliorations cohérentes, indépendamment de l’architecture du modèle, de la technique de pré-entraînement ou du type de décalage de distribution. Par ailleurs, l’apprentissage auto-supervisé s’avère facile à mettre en œuvre en pratique, car il ne nécessite ni connaissance ni accès aux données ou au schéma d’entraînement d’origine, est robuste aux choix des hyperparamètres, se met facilement en œuvre et requiert seulement quelques époques d’adaptation. Cela en fait une approche particulièrement attrayante pour tout praticien appliquant des algorithmes d’apprentissage automatique dans des contextes réels. Nous présentons des résultats d’adaptation de pointe sur CIFAR10-C (8,5 % d’erreur), ImageNet-C (22,0 % de mCE), ImageNet-R (17,4 % d’erreur) et ImageNet-A (14,8 % d’erreur), étudions théoriquement la dynamique des méthodes d’adaptation auto-supervisée, et proposons un nouveau jeu de données de classification (ImageNet-D), qui constitue un défi même en présence d’adaptation.