다양하고 구분 가능한 표현을 최대 코드화 비율 감소 원리에 따라 학습하기

고차원 데이터에서 클래스 간을 가장 효과적으로 구분하는 내재적인 저차원 구조를 학습하기 위해, 전체 데이터셋과 각 개별 클래스의 합 사이의 코딩 속도 차이를 최대화하는 정보이론적 측도인 최대 코딩 속도 감소 원리(Maximal Coding Rate Reduction, $\text{MCR}^2$)를 제안한다. 본 연구는 이 원리가 교차 엔트로피, 정보 봉쇄, 정보 이득, 수축적 및 대조적 학습 등 기존 주요 학습 프레임워크들과의 관계를 명확히 하며, 다양한 특징을 학습하는 데 대한 이론적 보장을 제공한다. 코딩 속도는 특성값이 감소한 부분공간 유사 분포의 유한 샘플로부터 정확하게 계산 가능하며, 이는 감독, 자기감독, 비감독 설정을 통합적으로 다룰 수 있는 내재 표현을 학습할 수 있게 한다. 실증적으로, 본 원리를 단독으로 사용하여 학습한 표현은 교차 엔트로피를 사용한 경우보다 분류 작업에서 레이블 오류에 훨씬 더 강건하며, 자가학습된 불변 특징을 기반으로 혼합된 데이터에 대한 클러스터링에서 최첨단 성능을 달성할 수 있다.