사전 훈련된 모델을 이용한 딥 이미지 클러스터링의 한계 탐색

우리는 사전 훈련된 특징 추출기를 활용하여 레이블 없이 이미지를 분류하는 데에 초점을 맞춘 일반적인 방법론을 제안한다. 본 연구의 접근법은 사전 훈련된 특징 공간 내에서 가장 가까운 이웃(네이버)이 동일한 레이블을 공유할 가능성이 높다는 사실에 기반하여 클러스터링 헤드의 자기-디스틸레이션 훈련을 수행한다. 또한, 이미지 특징 간의 관계를 학습하기 위해 지점별 상호정보량(pointwise mutual information)의 변형과 인스턴스 가중치를 도입하는 새로운 목적함수를 제안한다. 제안된 목적함수가 잘못된 양성 쌍(false positive pairs)의 영향을 완화하면서 사전 훈련된 특징 공간 내 구조를 효율적으로 활용할 수 있음을 실험적으로 입증하였다. 그 결과, 17개의 다양한 사전 훈련 모델에서 k-평균(k-means) 대비 클러스터링 정확도를 ImageNet에서는 6.1%, CIFAR100에서는 12.2% 향상시켰다. 마지막으로, 자기지도 학습 시각 트랜스포머(self-supervised vision transformers)를 사용하여 ImageNet에서 61.6%의 클러스터링 정확도를 달성하였다. 코드는 https://github.com/HHU-MMBS/TEMI-official-BMVC2023 에서 공개되어 있다.