2달 전

대조 학습을 활용한 클러스터링 지원

Dejiao Zhang; Feng Nan; Xiaokai Wei; Shangwen Li; Henghui Zhu; Kathleen McKeown; Ramesh Nallapati; Andrew Arnold; Bing Xiang
대조 학습을 활용한 클러스터링 지원
초록

비지도 클러스터링은 표현 공간에서의 거리 측정에 따라 데이터의 의미 범주를 발견하는 것을 목표로 합니다. 그러나 학습 과정 초기에 서로 다른 범주가 종종 표현 공간에서 겹치는 경우가 있어, 이는 거리 기반 클러스터링이 서로 다른 범주 간에 좋은 분리를 달성하는 데 큰 도전을 제기합니다. 이를 해결하기 위해, 우리는 대조학습을 활용하여 더 나은 분리를 촉진하는 새로운 프레임워크인 '대조학습을 통한 클러스터링 지원(Supporting Clustering with Contrastive Learning, SCCL)'을 제안합니다. 우리는 SCCL의 성능을 짧은 텍스트 클러스터링에서 평가하였으며, 대부분의 벤치마크 데이터셋에서 정확도(Accuracy)가 3-11% 향상되고 정규화 상호 정보(Normalized Mutual Information)가 4-15% 향상되는 등 현존하는 최고 수준의 결과를 크게 발전시켰음을 보여줍니다. 또한 우리의 정량적 분석은 SCCL이 하향식 인스턴스 구분과 상향식 클러스터링의 강점을 모두 활용하여 실제 클러스터 라벨로 평가할 때 군내 거리와 군간 거리를 개선하는 데 효과적임을 입증합니다.

대조 학습을 활용한 클러스터링 지원 | 최신 연구 논문 | HyperAI초신경