VNE : Une Méthode Efficace pour Améliorer la Représentation Profonde en Manipulant la Distribution des Valeurs Propres

Depuis l'introduction de l'apprentissage profond, un large éventail de propriétés de représentation, telles que la décorrélion, le blanchiment, la désentrelacement, le rang, l'isotropie et l'information mutuelle, ont été étudiées pour améliorer la qualité des représentations. Cependant, manipuler ces propriétés peut s'avérer difficile en termes d'efficacité de mise en œuvre et d'applicabilité générale. Pour surmonter ces limitations, nous proposons de régulariser l'entropie de von Neumann (VNE) des représentations. Tout d'abord, nous montrons que la formulation mathématique de la VNE est supérieure pour manipuler efficacement les valeurs propres de la matrice d'autocorrélation des représentations. Ensuite, nous démontrons qu'elle est largement applicable pour améliorer les algorithmes de pointe ou les algorithmes de référence populaires en examinant la généralisation inter-domaines, l'apprentissage par méta-apprentissage, l'apprentissage auto-supervisé et les modèles génératifs. De plus, nous établissons formellement des connexions théoriques avec le rang, la désentrelacement et l'isotropie des représentations. Enfin, nous abordons les questions du contrôle de dimension de la VNE et sa relation avec l'entropie de Shannon. Le code est disponible à : https://github.com/jaeill/CVPR23-VNE.