VNE: Eine effektive Methode zur Verbesserung der tiefen Darstellung durch die Manipulation der Eigenwertverteilung

Seit der Einführung des Deep Learnings wurden eine Vielzahl von Darstellungseigenschaften wie Dekorrelation, Whitening, Entwirrung (Disentanglement), Rang, Isotropie und gegenseitige Information untersucht, um die Qualität der Darstellungen zu verbessern. Allerdings kann das Manipulieren solcher Eigenschaften hinsichtlich der Implementierungseffektivität und der allgemeinen Anwendbarkeit herausfordernd sein. Um diese Einschränkungen zu überwinden, schlagen wir vor, die von-Neumann-Entropie (VNE) der Darstellung zu regularisieren. Zunächst zeigen wir, dass die mathematische Formulierung der VNE effektiver ist, um die Eigenwerte der Autokorrelationsmatrix der Darstellung zu manipulieren. Anschließend demonstrieren wir ihre weitreichende Anwendbarkeit bei der Verbesserung von Stand-of-the-Art-Algorithmen oder gängigen Benchmark-Algorithmen durch die Untersuchung von domänenübergreifender Generalisierung (Domain-Generalization), Meta-Lernen (Meta-Learning), selbstüberwachtem Lernen (Self-Supervised Learning) und generativen Modellen. Des Weiteren legen wir formelle theoretische Verbindungen zwischen dem Rang, der Entwirrung und der Isotropie der Darstellung her. Schließlich diskutieren wir die Dimensionskontrolle der VNE sowie ihren Zusammenhang mit der Shannonschen Entropie. Der Quellcode ist unter folgendem Link verfügbar: https://github.com/jaeill/CVPR23-VNE.