HyperAIHyperAI

Command Palette

Search for a command to run...

VICReg: Varianz-Invarianz-Kovarianz-Regularisierung für selbstüberwachtes Lernen

Adrien Bardes Jean Ponce Yann LeCun

Zusammenfassung

Rezent entwickelte selbstüberwachte Methoden für die Bildrepräsentationslernung basieren darauf, die Übereinstimmung zwischen Embedding-Vektoren aus verschiedenen Ansichten derselben Abbildung zu maximieren. Eine triviale Lösung tritt ein, wenn der Encoder konstante Vektoren ausgibt. Dieses Kollapsproblem wird häufig durch implizite Voreingenommenheiten in der Lernarchitektur vermieden, die oft keine klare Begründung oder Interpretation aufweisen. In diesem Paper führen wir VICReg (Variance-Invariance-Covariance Regularization) ein, eine Methode, die das Kollapsproblem explizit durch einen einfachen Regularisierungsterm auf die Varianz der Embeddings entlang jeder Dimension einzeln vermeidet. VICReg kombiniert diesen Varianzterm mit einer Dekorrelationsmechanik, die auf Redundanzreduktion und Kovarianz-Regularisierung basiert, und erreicht Ergebnisse auf dem Niveau des derzeitigen Standes der Technik bei mehreren nachgeschalteten Aufgaben. Darüber hinaus zeigen wir, dass die Integration unseres neuen Varianzterms in andere Methoden die Stabilität des Trainings verbessert und zu Leistungssteigerungen führt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp