HyperAIHyperAI
vor 2 Monaten

VNE: Eine effektive Methode zur Verbesserung der tiefen Darstellung durch die Manipulation der Eigenwertverteilung

Jaeill Kim; Suhyun Kang; Duhun Hwang; Jungwook Shin; Wonjong Rhee
VNE: Eine effektive Methode zur Verbesserung der tiefen Darstellung durch die Manipulation der Eigenwertverteilung
Abstract

Seit der Einführung des Deep Learnings wurden eine Vielzahl von Darstellungseigenschaften wie Dekorrelation, Whitening, Entwirrung (Disentanglement), Rang, Isotropie und gegenseitige Information untersucht, um die Qualität der Darstellungen zu verbessern. Allerdings kann das Manipulieren solcher Eigenschaften hinsichtlich der Implementierungseffektivität und der allgemeinen Anwendbarkeit herausfordernd sein. Um diese Einschränkungen zu überwinden, schlagen wir vor, die von-Neumann-Entropie (VNE) der Darstellung zu regularisieren. Zunächst zeigen wir, dass die mathematische Formulierung der VNE effektiver ist, um die Eigenwerte der Autokorrelationsmatrix der Darstellung zu manipulieren. Anschließend demonstrieren wir ihre weitreichende Anwendbarkeit bei der Verbesserung von Stand-of-the-Art-Algorithmen oder gängigen Benchmark-Algorithmen durch die Untersuchung von domänenübergreifender Generalisierung (Domain-Generalization), Meta-Lernen (Meta-Learning), selbstüberwachtem Lernen (Self-Supervised Learning) und generativen Modellen. Des Weiteren legen wir formelle theoretische Verbindungen zwischen dem Rang, der Entwirrung und der Isotropie der Darstellung her. Schließlich diskutieren wir die Dimensionskontrolle der VNE sowie ihren Zusammenhang mit der Shannonschen Entropie. Der Quellcode ist unter folgendem Link verfügbar: https://github.com/jaeill/CVPR23-VNE.