초록
우리는 데이터 증강, 하이퍼파라미터 튜닝 또는 기타 공학적 설계를 사용하지 않고도 최고 수준의 자기 지도 학습(SSL) 방법과 유사한 성능을 달성하는 최소주의적이고 해석 가능한 비지도 학습 방법을 설명합니다. 우리의 접근 방식은 희소 다양체 변환(sparse manifold transform)을 활용하여 희소 코딩, 다양체 학습, 그리고 느린 특징 분석을 통합합니다. 단일 계층 결정론적 희소 다양체 변환을 사용하면 MNIST에서 99.3%의 KNN 상위 1 정확도, CIFAR-10에서 81.1%의 KNN 상위 1 정확도, CIFAR-100에서 53.2%의 정확도를 달성할 수 있습니다. 간단한 그레이스케일 증강을 사용하면 모델은 CIFAR-10에서 83.2%의 KNN 상위 1 정확도와 CIFAR-100에서 57%의 정확도를 얻습니다. 이러한 결과는 단순한 "화이트박스" 방법과 최고 수준의 방법 사이의 차이를 크게 좁혔습니다. 또한, 비지도 표현 변환이 어떻게 형성되는지 설명하기 위해 시각화 자료를 제공합니다. 제안된 방법은 잠재 임베딩 자기 지도 학습 방법과 밀접하게 연결되어 있으며, 가장 단순한 형태의 VICReg로 취급될 수 있습니다. 우리 단순 구조적 모델과 최고 수준의 방법 사이에 아직 작은 성능 차이가 남아 있지만, 이는 원칙적이며 화이트박스 접근 방식으로 비지도 학습을 수행하는 데 있어 유망한 방향임을 입증하는 증거입니다.