FixMatch: 일관성과 신뢰도를 활용한 반감독 학습의 간소화

반감독 학습(Semi-supervised learning, SSL)은 레이블이 없는 데이터를 효과적으로 활용하여 모델의 성능을 향상시키는 데 유용한 방법을 제공한다. 본 논문에서는 두 가지 일반적인 SSL 기법인 일관성 정규화(consistency regularization)와 의사 레이블링(pseudo-labeling)의 간단한 조합이 갖는 강력한 능력을 입증한다. 우리 알고리즘인 FixMatch는 먼저 약한 증강(weakly-augmented) 처리된 레이블이 없는 이미지에 대한 모델의 예측을 이용해 의사 레이블을 생성한다. 주어진 이미지에 대해, 모델이 높은 신뢰도의 예측을 내는 경우에만 해당 의사 레이블을 유지한다. 이후 모델은 동일한 이미지의 강한 증강(strongly-augmented) 버전을 입력받았을 때 해당 의사 레이블을 정확히 예측하도록 학습된다. 이 방법은 간단함에도 불구하고, 다양한 표준 반감독 학습 벤치마크에서 최신 기술(SOTA) 수준의 성능을 달성한다. 예를 들어, CIFAR-10 데이터셋에서 레이블이 250개일 경우 94.93%의 정확도를, 클래스당 단 4개의 레이블(총 40개)만 있을 경우에도 88.61%의 정확도를 기록한다. FixMatch는 기존의 성능이 낮은 반감독 학습 방법들과 많은 유사성을 지니고 있기 때문에, 본 알고리즘이 성공하는 데 가장 중요한 실험적 요인들을 분리하여 분석하기 위해 광범위한 아블레이션(Ablation) 연구를 수행하였다. 본 연구의 코드는 https://github.com/google-research/fixmatch 에서 공개되어 있다.