13일 전

외부 안내를 통한 이미지 클러스터링

Yunfan Li, Peng Hu, Dezhong Peng, Jiancheng Lv, Jianping Fan, Xi Peng
외부 안내를 통한 이미지 클러스터링
초록

클러스터링의 핵심은 사전 지식을 통합하여 감독 신호를 구성하는 데 있다. 데이터의 밀집도에 기반한 전통적인 k-means에서부터 자기지도 학습(self-supervision)에 의해 안내되는 최신 대비 클러스터링에 이르기까지, 클러스터링 방법의 발전은 본질적으로 감독 신호의 진화와 직결된다. 현재까지는 데이터 내부에서 감독 신호를 탐색하는 데 많은 노력을 기울여 왔다. 그러나 클러스터링에 자연스럽게 기여할 수 있는 풍부한 외부 지식, 예를 들어 의미적 설명 등은 유감스럽게도 간과되고 있다. 본 연구에서는 주어진 데이터와는 관련이 없어 보일지라도, 외부 지식을 새로운 감독 신호로 활용하여 클러스터링을 안내하는 아이디어를 제안한다. 이 아이디어를 구현하고 검증하기 위해, 워드넷(WordNet)의 텍스트 의미 정보를 활용하여 이미지 클러스터링을 지원하는 외부 지도형 클러스터링 방법(TAC, Text-Aided Clustering)을 설계하였다. 구체적으로 TAC는 이미지 간의 구분력을 높이기 위해 가장 적절한 워드넷 명사를 선택하고 검색한다. 이후 이미지 클러스터링 성능을 향상시키기 위해, 텍스트와 이미지 모달 간의 상호 교차 모달 이웃 정보를 상호 교육(mutual distillation)하는 방식으로 협업한다. 실험 결과, TAC는 널리 사용되는 다섯 가지 이미지 클러스터링 벤치마크와 더 도전적인 세 가지 벤치마크에서 최신 기술 수준(SOTA)의 성능을 달성하였으며, 이는 전체 ImageNet-1K 데이터셋을 포함한 다양한 환경에서도 입증되었다.