HyperAIHyperAI

Command Palette

Search for a command to run...

VICReg : régularisation par variance-invariance-covariance pour l'apprentissage non supervisé

Adrien Bardes Jean Ponce Yann LeCun

Résumé

Les méthodes récentes d’apprentissage auto-supervisé pour la représentation d’images reposent sur la maximisation de l’accord entre les vecteurs d’encodage issus de différentes vues de la même image. Une solution triviale se produit lorsque l’encodeur produit des vecteurs constants, un phénomène connu sous le nom de « collapse ». Ce problème est généralement évité grâce à des biais implicites présents dans l’architecture d’apprentissage, qui manquent souvent d’une justification ou d’une interprétation claire. Dans cet article, nous proposons VICReg (Variance-Invariance-Covariance Regularization), une méthode qui évite explicitement le problème de collapse grâce à un terme de régularisation simple, appliqué individuellement à la variance des embeddings le long de chaque dimension. VICReg combine ce terme de variance avec un mécanisme de décorrélational fondé sur la réduction de redondance et la régularisation de la covariance, et atteint des résultats comparables aux états de l’art sur plusieurs tâches de suivi. En outre, nous démontrons qu’intégrer notre nouveau terme de variance dans d’autres méthodes permet de stabiliser l’apprentissage et d’améliorer les performances.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp