FlexMatch: 교육 과정 허위 레이블링을 통한 반감독 학습의 성능 향상

최근 제안된 FixMatch는 대부분의 반감독 학습(SSL) 벤치마크에서 최고 수준의 성능을 달성하였다. 그러나 다른 현대적 SSL 알고리즘과 마찬가지로 FixMatch는 모든 클래스에 대해 사전 정의된 고정 임계값을 사용하여 학습에 기여할 수 있는 비라벨 데이터를 선택하므로, 각 클래스의 학습 상태와 학습 난이도의 차이를 고려하지 못하는 한계가 있다. 이 문제를 해결하기 위해 우리는 모델의 학습 상태에 따라 비라벨 데이터를 활용하는 커리큘럼 학습 기반 접근법인 Curriculum Pseudo Labeling(CPL)을 제안한다. CPL의 핵심은 각 시간 단계에서 클래스별로 유연하게 임계값을 조정하여 정보가 풍부한 비라벨 데이터와 그 의사 라벨을 통과시키는 것이다. CPL은 추가적인 파라미터나 계산(전방 또는 역방향 전파)을 도입하지 않는다. 본 연구에서는 CPL을 FixMatch에 적용하여 개선된 알고리즘인 FlexMatch를 제안한다. FlexMatch는 다양한 SSL 벤치마크에서 최고 수준의 성능을 보이며, 특히 라벨 데이터가 극도로 제한된 경우나 과제가 어려운 경우에 두드러진 성능을 발휘한다. 예를 들어, 클래스당 라벨이 단 4개일 때, CIFAR-100 및 STL-10 데이터셋에서 각각 FixMatch 대비 13.96%, 18.96%의 오류율 감소를 달성한다. 또한 CPL은 수렴 속도를 크게 향상시킨다. 예를 들어, FlexMatch는 FixMatch의 1/5에 불과한 학습 시간으로 더 뛰어난 성능을 달성할 수 있다. 더 나아가, CPL이 다른 SSL 알고리즘에도 쉽게 적용 가능하며 성능을 현저히 향상시킬 수 있음을 보여준다. 본 연구의 코드는 https://github.com/TorchSSL/TorchSSL 에 공개되어 있다.