2달 전
VNE: 고유값 분포 조작을 통한 심층 표현 개선의 효과적인 방법
Jaeill Kim; Suhyun Kang; Duhun Hwang; Jungwook Shin; Wonjong Rhee

초록
딥 러닝 도입 이후, 상호 독립성, 화이트닝, 분리성, 계수, 등방성 및 상호 정보량과 같은 표현 속성의 광범위한 범위가 표현 품질 개선을 위해 연구되어 왔습니다. 그러나 이러한 속성을 조작하는 것은 구현 효과성과 일반적인 적용 가능성 측면에서 어려울 수 있습니다. 이러한 제한 사항을 해결하기 위해 우리는 표현의 폰 노이만 엔트로피(VNE)를 규제하는 방법을 제안합니다. 먼저, VNE의 수학적 공식화가 표현 자기상관 행렬의 고유값을 효과적으로 조작하는 데 우수함을 보여줍니다. 그 다음으로, 영역 일반화, 메타 학습, 자기 지도 학습 및 생성 모델에 대한 연구를 통해 VNE가 최신 알고리즘이나 인기 있는 벤치마크 알고리즘을 개선하는 데 널리 적용될 수 있음을 입증합니다. 또한, 우리는 VNE와 표현의 계수, 분리성 및 등방성 간의 이론적 연결성을 공식적으로 설정합니다. 마지막으로, VNE의 차원 제어와 샤논 엔트로피와의 관계에 대해 논의를 제공합니다. 코드는 다음 주소에서 확인할 수 있습니다: https://github.com/jaeill/CVPR23-VNE.