VICReg: Varianz-Invarianz-Kovarianz-Regularisierung für selbstüberwachtes Lernen

Rezent entwickelte selbstüberwachte Methoden für die Bildrepräsentationslernung basieren darauf, die Übereinstimmung zwischen Embedding-Vektoren aus verschiedenen Ansichten derselben Abbildung zu maximieren. Eine triviale Lösung tritt ein, wenn der Encoder konstante Vektoren ausgibt. Dieses Kollapsproblem wird häufig durch implizite Voreingenommenheiten in der Lernarchitektur vermieden, die oft keine klare Begründung oder Interpretation aufweisen. In diesem Paper führen wir VICReg (Variance-Invariance-Covariance Regularization) ein, eine Methode, die das Kollapsproblem explizit durch einen einfachen Regularisierungsterm auf die Varianz der Embeddings entlang jeder Dimension einzeln vermeidet. VICReg kombiniert diesen Varianzterm mit einer Dekorrelationsmechanik, die auf Redundanzreduktion und Kovarianz-Regularisierung basiert, und erreicht Ergebnisse auf dem Niveau des derzeitigen Standes der Technik bei mehreren nachgeschalteten Aufgaben. Darüber hinaus zeigen wir, dass die Integration unseres neuen Varianzterms in andere Methoden die Stabilität des Trainings verbessert und zu Leistungssteigerungen führt.