자기 레이블링: 동시 클러스터링과 표현 학습을 통한 방법

클러스터링과 표현 학습을 결합하는 것은 딥 신경망의 비지도 학습에서 가장 유망한 접근 방식 중 하나이다. 그러나 이를 단순히 적용할 경우, 해가 비정상적이고 퇴화된 해를 갖는 잘못 정의된 학습 문제로 이어진다. 본 논문에서는 이러한 문제를 해결하기 위한 새로운 원리 기반의 학습 공식을 제안한다. 이 방법은 레이블과 입력 데이터 인덱스 간의 정보를 최대화함으로써 도출된다. 우리는 이 기준이 표준 교차 엔트로피 최소화를 최적 운반 문제로 확장함을 보이며, Sinkhorn-Knopp 알고리즘의 빠른 변형을 사용하여 수백만 개의 입력 이미지와 수천 개의 레이블에 대해 효율적으로 이를 해결한다. 제안된 방법은 수동 레이블 없이도 시각 데이터를 자동으로 레이블링함으로써 경쟁력 있는 이미지 표현을 학습할 수 있다. 본 방법은 SVHN, CIFAR-10, CIFAR-100 및 ImageNet에서 AlexNet과 ResNet-50에 대해 최신 기술 수준의 표현 학습 성능을 달성하며, 감독 학습 기반의 Pascal VOC 탐지 베이스라인을 초월하는 최초의 자율 지도 학습 AlexNet을 구현한다. 코드와 모델은 공개되어 있다.