L'apprentissage contrastif inverse le processus de génération des données

L’apprentissage contrastif a récemment connu un succès considérable dans le cadre de l’apprentissage auto-supervisé. Pourtant, il reste largement obscur pourquoi les représentations apprises généralisent si efficacement à une grande variété de tâches ultérieures. Nous démontrons ici que les modèles feedforward entraînés avec des objectifs appartenant à la famille couramment utilisée InfoNCE apprennent implicitement à inverser le modèle génératif sous-jacent des données observées. Bien que nos preuves reposent sur certaines hypothèses statistiques concernant le modèle génératif, nous observons empiriquement que nos résultats tiennent même lorsque ces hypothèses sont fortement violées. Notre théorie met en lumière un lien fondamental entre l’apprentissage contrastif, la modélisation générative et l’analyse en composantes indépendantes non linéaires, approfondissant ainsi notre compréhension des représentations apprises et fournissant une base théorique pour concevoir des pertes contrastives plus efficaces.