FreeMatch: 반감독 학습을 위한 자기적응형 임계값 설정

반감독 학습(Semi-supervised Learning, SSL)은 가짜 레이블링(pseudo labeling) 및 일관성 정규화(consistency regularization) 기반의 다양한 방법들이 뛰어난 성능을 보여주면서 큰 성공을 거두었다. 그러나 기존의 방법들은 고정된 사전 정의된 임계값이나 임의의 조정 방식을 사용하기 때문에, 비라벨 데이터를 더 효과적으로 활용하지 못할 수 있으며, 이로 인해 성능이 저하되고 수렴 속도가 느려질 수 있다고 주장한다. 본 연구에서는 모델의 학습 상태와 이상적인 임계값 간의 관계를 이해하기 위해 유의미한 사례를 분석한다. 분석을 바탕으로, 모델의 학습 상태에 따라 자가 적응적으로 신뢰도 임계값을 조정하는 FreeMatch를 제안한다. 또한 초기 학습 단계에서 모델이 다양한 예측을 하도록 유도하기 위해 자가 적응적 클래스 공정성 정규화 페널티를 도입한다. 광범위한 실험 결과는 라벨 데이터가 극히 드물 때 FreeMatch의 우수성을 입증한다. CIFAR-10(클래스당 1개 라벨), STL-10(클래스당 4개 라벨), ImageNet(클래스당 100개 라벨)에서 각각 최신 최고 성능 기법인 FlexMatch 대비 오류율을 5.78%, 13.59%, 1.28% 감소시켰다. 더불어 FreeMatch는 불균형 반감독 학습에서도 성능 향상에 기여한다. 코드는 https://github.com/microsoft/Semi-supervised-learning 에서 확인할 수 있다.