VICReg : régularisation par variance-invariance-covariance pour l'apprentissage non supervisé

Les méthodes récentes d’apprentissage auto-supervisé pour la représentation d’images reposent sur la maximisation de l’accord entre les vecteurs d’encodage issus de différentes vues de la même image. Une solution triviale se produit lorsque l’encodeur produit des vecteurs constants, un phénomène connu sous le nom de « collapse ». Ce problème est généralement évité grâce à des biais implicites présents dans l’architecture d’apprentissage, qui manquent souvent d’une justification ou d’une interprétation claire. Dans cet article, nous proposons VICReg (Variance-Invariance-Covariance Regularization), une méthode qui évite explicitement le problème de collapse grâce à un terme de régularisation simple, appliqué individuellement à la variance des embeddings le long de chaque dimension. VICReg combine ce terme de variance avec un mécanisme de décorrélational fondé sur la réduction de redondance et la régularisation de la covariance, et atteint des résultats comparables aux états de l’art sur plusieurs tâches de suivi. En outre, nous démontrons qu’intégrer notre nouveau terme de variance dans d’autres méthodes permet de stabiliser l’apprentissage et d’améliorer les performances.