DoubleMatch: 자가지도 학습을 통한 반지도 학습 개선

감독 학습의 성공에 이어, 반감독 학습(semi-supervised learning, SSL)이 점점 더 주목받고 있다. SSL은 레이블이 부여된 학습 데이터 외에도 대량의 레이블이 없는 데이터를 활용하여 모델을 학습하는 방법의 일종이다. 최근 성공적인 SSL 방법의 대부분은 의사 레이블(pseudo-labeling) 기반의 접근을 채택하고 있다. 즉, 모델이 높은 신뢰도를 가지는 예측 결과를 학습 레이블로 활용하는 방식이다. 이러한 방법들은 여러 벤치마크 데이터셋에서 놀라운 성능을 보여주었지만, 단점으로는 훈련 과정에서 모든 레이블이 없는 데이터를 활용하지 못한다는 점이 있다. 본 연구에서는 의사 레이블링 기법과 자기지도 학습(self-supervised loss)을 결합한 새로운 SSL 알고리즘인 DoubleMatch를 제안한다. 이 방법은 훈련 과정에서 모든 레이블이 없는 데이터를 효과적으로 활용할 수 있도록 한다. 실험 결과, 다양한 벤치마크 데이터셋에서 최신 기준(SOTA) 수준의 정확도를 달성하면서도 기존 SSL 방법보다 훈련 시간을 단축하는 것을 확인하였다. 코드는 https://github.com/walline/doublematch 에서 공개되어 있다.