HyperAIHyperAI

Command Palette

Search for a command to run...

VNE : Une Méthode Efficace pour Améliorer la Représentation Profonde en Manipulant la Distribution des Valeurs Propres

Jaeill Kim Suhyun Kang Duhun Hwang Jungwook Shin Wonjong Rhee

Résumé

Depuis l'introduction de l'apprentissage profond, un large éventail de propriétés de représentation, telles que la décorrélion, le blanchiment, la désentrelacement, le rang, l'isotropie et l'information mutuelle, ont été étudiées pour améliorer la qualité des représentations. Cependant, manipuler ces propriétés peut s'avérer difficile en termes d'efficacité de mise en œuvre et d'applicabilité générale. Pour surmonter ces limitations, nous proposons de régulariser l'entropie de von Neumann (VNE) des représentations. Tout d'abord, nous montrons que la formulation mathématique de la VNE est supérieure pour manipuler efficacement les valeurs propres de la matrice d'autocorrélation des représentations. Ensuite, nous démontrons qu'elle est largement applicable pour améliorer les algorithmes de pointe ou les algorithmes de référence populaires en examinant la généralisation inter-domaines, l'apprentissage par méta-apprentissage, l'apprentissage auto-supervisé et les modèles génératifs. De plus, nous établissons formellement des connexions théoriques avec le rang, la désentrelacement et l'isotropie des représentations. Enfin, nous abordons les questions du contrôle de dimension de la VNE et sa relation avec l'entropie de Shannon. Le code est disponible à : https://github.com/jaeill/CVPR23-VNE.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp