HyperAIHyperAI

Command Palette

Search for a command to run...

VNE:一种通过操控特征值分布来改进深度表示的有效方法

Jaeill Kim Suhyun Kang Duhun Hwang Jungwook Shin Wonjong Rhee

摘要

自深度学习引入以来,人们已经研究了大量表示属性,如去相关性、白化、解耦、秩、各向同性和互信息,以提高表示的质量。然而,在实施效果和普遍适用性方面,操纵这些属性颇具挑战性。为了解决这些局限性,我们提出对表示的冯·诺伊曼熵(VNE)进行正则化。首先,我们证明了冯·诺伊曼熵的数学公式在有效操纵表示自相关矩阵的特征值方面具有优越性。然后,通过研究领域泛化、元学习、自监督学习和生成模型,我们展示了它在改进最先进算法或流行基准算法方面的广泛适用性。此外,我们正式建立了冯·诺伊曼熵与表示的秩、解耦和各向同性之间的理论联系。最后,我们讨论了冯·诺伊曼熵的维度控制及其与香农熵的关系。代码可在以下地址获取:https://github.com/jaeill/CVPR23-VNE


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供