VNE: 固有値分布を操作して深層表現を改善する効果的な方法

深層学習の導入以来、表現の特性（デコーロレーション、ホワイトニング、分離性、ランク、等方性、相互情報量）を改善するために広範囲にわたる研究が行われてきました。しかし、これらの特性を操作することは実装効率や一般的な適用可能性の面で困難を伴うことがあります。これらの制限に対処するため、我々は表現のフォン・ノイマンエントロピー (VNE) を正則化することを提案します。まず、VNE の数学的な定式化が表現自己相関行列の固有値を効果的に操作する上で優れていることを示します。次に、ドメイン一般化、メタ学習、自己監督学習、生成モデルなどの観点から最新アルゴリズムや人気のあるベンチマークアルゴリズムの性能向上に広く適用できることを示します。さらに、表現のランク、分離性および等方性との理論的な関連性を形式的に確立します。最後に、VNE の次元制御とシャノンエントロピーとの関係について議論を提供します。コードは以下のURLで利用可能です: https://github.com/jaeill/CVPR23-VNE.