Apprentissage automatique auto-supervisé avec un critère de maximisation de l'information

L’apprentissage auto-supervisé permet aux systèmes d’intelligence artificielle d’apprendre des représentations efficaces à partir de grandes quantités de données en utilisant des tâches ne nécessitant pas d’étiquetage coûteux. La « collapsus de mode », c’est-à-dire le phénomène par lequel le modèle produit des représentations identiques pour toutes les entrées, constitue un problème central pour de nombreuses approches d’apprentissage auto-supervisé, rendant ainsi les tâches auto-supervisées, telles que la correspondance entre des variantes déformées d’une même entrée, inefficaces. Dans cet article, nous affirmons qu’une application directe de la maximisation de l’information entre des représentations latentes alternatives d’une même entrée résout naturellement le problème du collapsus et permet d’obtenir des résultats empiriques compétitifs. Nous proposons une méthode d’apprentissage auto-supervisé, appelée CorInfoMax, qui utilise une mesure d’information mutuelle fondée sur des statistiques d’ordre deux, reflétant le degré de corrélation entre ses arguments. La maximisation de cette mesure d’information corrélative entre des représentations alternatives d’une même entrée sert à deux fins : (1) elle évite le problème de collapsus en générant des vecteurs de caractéristiques dont la matrice de covariance n’est pas dégénérée ; (2) elle établit une pertinence entre les différentes représentations en renforçant leur dépendance linéaire. Une approximation de l’objectif de maximisation d’information proposée se simplifie en une fonction objectif basée sur la distance euclidienne, régularisée par le déterminant logarithmique de la matrice de covariance des caractéristiques. Ce terme de régularisation agit comme une barrière naturelle contre la dégénérescence de l’espace des caractéristiques. En conséquence, au-delà de l’évitement du collapsus complet vers un unique point, l’approche proposée prévient également le collapsus de dimension en encourageant la diffusion de l’information à travers l’ensemble de l’espace des caractéristiques. Des expériences numériques montrent que CorInfoMax atteint des performances supérieures ou au moins comparables à celles des méthodes d’apprentissage auto-supervisé les plus avancées.