2달 전

비감독 메타러닝을 위한 클러스터링 기반 의사 라벨링 재고찰

Xingping Dong; Jianbing Shen; Ling Shao
비감독 메타러닝을 위한 클러스터링 기반 의사 라벨링 재고찰
초록

비지도 메타학습의 선구적인 방법론인 CACTUs는 의사 라벨링을 사용하는 클러스터링 기반 접근 방식입니다. 이 접근 방식은 모델에 독립적이며, 비라벨 데이터에서 학습하기 위해 지도 알고리즘과 결합될 수 있습니다. 그러나 종종 라벨 불일치나 다양성 부족으로 인해 성능이 저하되는 문제가 발생합니다. 본 연구에서는 이러한 문제의 근본 원인이 임베딩 공간에서 클러스터링 친화적 특성이 부족함 때문임을 증명하였습니다. 이를 해결하기 위해, 클래스 간 유사성 대비 클래스 내 유사성 비율을 최소화하여 클러스터링 친화적 임베딩 특성을 제공하고, 포괄적인 실험을 통해 우리의 접근 방식을 검증하였습니다. 특히, 의사 라벨을 얻기 위해 임베딩 공간에서 단순한 클러스터링 알고리즘(k-means)만 사용하였음에도 불구하고, 상당한 개선 효과를 달성하였습니다. 또한, 다양성 부족 문제를 더욱 완화하기 위해 점진적인 평가 메커니즘을 채택하여 더 다양한 샘플을 얻었습니다. 마지막으로, 우리의 접근 방식은 모델에 독립적이므로 기존의 지도 방법론에 쉽게 통합될 수 있습니다. 일반화 능력을 보여주기 위해, MAML과 EP라는 두 가지 대표적인 알고리즘에 통합하여 실험하였습니다. 세 가지 주요 Few-Shot 벤치마크에서의 결과는 제안된 방법론이 최신 모델들보다 상당히 우수한 성능 향상을 이룩하였음을 명확히 보여줍니다. 특히, 두 가지 작업에서 우리의 접근 방식은 해당 지도 방법론보다도 우수한 성능을 발휘하였습니다.

비감독 메타러닝을 위한 클러스터링 기반 의사 라벨링 재고찰 | 최신 연구 논문 | HyperAI초신경