초록
클러스터 구분은 비지도 표현 학습의 효과적인 프리텍스트 작업으로, 일반적으로 클러스터링과 구분 두 단계로 구성됩니다. 클러스터링은 각 인스턴스에 의사 라벨을 할당하여, 구분 단계에서 표현을 학습하는 데 사용됩니다. 주요 도전 과제는 클러스터링에 있으며, 일반적인 클러스터링 방법(예: k-평균)이 배치 모드로 실행되어야 한다는 점입니다. 또한, 지배적인 클러스터로 이루어진 자명한 해가 존재할 수 있습니다. 이러한 도전 과제를 해결하기 위해, 먼저 클러스터링 기반 표현 학습의 목적을 조사합니다. 이를 바탕으로, 온라인 Constrained K-means (CoKe)라는 새로운 클러스터링 기반 프리텍스트 작업을 제안합니다. 모든 클러스터가 정확히 같은 크기를 갖는 균형 잡힌 클러스터링과 달리, 우리는 각 클러스터의 최소 크기만 제약하여 데이터의 본질적 구조를 유연하게 포착할 수 있도록 합니다. 더욱 중요한 것은, 우리의 온라인 할당 방법이 이론적으로 전역 최적해에 접근할 수 있다는 보장이 있다는 것입니다. 클러스터링과 구분을 분리함으로써, CoKe는 각 인스턴스에서 단일 뷰만 사용하여 최적화할 때도 경쟁력 있는 성능을 달성할 수 있습니다. ImageNet 및 기타 벤치마크 데이터 세트를 대상으로 한 광범위한 실험들은 우리의 제안이 효과적이고 효율적임을 검증하였습니다. 코드는 \url{https://github.com/idstcv/CoKe}에서 제공됩니다.