초록
활성 학습(active learning)을 탐구하면서, 레이블이 부여된 예시의 수(예산 크기)와 적절한 질의 전략 사이의 관계에 초점을 맞춘다. 이론적 분석을 통해 우리는 상전이(phase transition)와 유사한 행동을 관찰한다. 즉, 예산이 낮을 때는 일반적인 예시가 가장 효과적으로 질의되어야 하며, 예산이 클 경우는 대표성이 낮은 예시가 더 유리하다는 점이다. 이러한 통합적 증거는 일반적인 분류 모델에서도 유사한 현상이 발생함을 시사한다. 이를 바탕으로 본 연구는 저예산 환경에 적합한 딥 활성 학습 전략인 TypiClust를 제안한다. 다양한 아키텍처와 이미지 데이터셋을 활용한 감독 학습에 대한 비교적 실험적 조사에서, TypiClust는 저예산 환경에서 기존 모든 활성 학습 전략보다 우수한 성능을 보였다. 반면에, 반감독 학습(framework)에서 TypiClust를 활용할 경우 성능 향상은 더욱 두드러진다. 특히, CIFAR-10 데이터셋에서 TypiClust로 10개의 레이블 예시를 선택하여 학습한 최첨단 반감독 학습 방법은 93.2%의 정확도를 달성하였으며, 무작위 선택 대비 39.4% 향상된 성과를 보였다. 코드는 https://github.com/avihu111/TypiClust 에서 공개되어 있다.