HyperAIHyperAI

Command Palette

Search for a command to run...

VNE: Eine effektive Methode zur Verbesserung der tiefen Darstellung durch die Manipulation der Eigenwertverteilung

Jaeill Kim Suhyun Kang Duhun Hwang Jungwook Shin Wonjong Rhee

Zusammenfassung

Seit der Einführung des Deep Learnings wurden eine Vielzahl von Darstellungseigenschaften wie Dekorrelation, Whitening, Entwirrung (Disentanglement), Rang, Isotropie und gegenseitige Information untersucht, um die Qualität der Darstellungen zu verbessern. Allerdings kann das Manipulieren solcher Eigenschaften hinsichtlich der Implementierungseffektivität und der allgemeinen Anwendbarkeit herausfordernd sein. Um diese Einschränkungen zu überwinden, schlagen wir vor, die von-Neumann-Entropie (VNE) der Darstellung zu regularisieren. Zunächst zeigen wir, dass die mathematische Formulierung der VNE effektiver ist, um die Eigenwerte der Autokorrelationsmatrix der Darstellung zu manipulieren. Anschließend demonstrieren wir ihre weitreichende Anwendbarkeit bei der Verbesserung von Stand-of-the-Art-Algorithmen oder gängigen Benchmark-Algorithmen durch die Untersuchung von domänenübergreifender Generalisierung (Domain-Generalization), Meta-Lernen (Meta-Learning), selbstüberwachtem Lernen (Self-Supervised Learning) und generativen Modellen. Des Weiteren legen wir formelle theoretische Verbindungen zwischen dem Rang, der Entwirrung und der Isotropie der Darstellung her. Schließlich diskutieren wir die Dimensionskontrolle der VNE sowie ihren Zusammenhang mit der Shannonschen Entropie. Der Quellcode ist unter folgendem Link verfügbar: https://github.com/jaeill/CVPR23-VNE.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp