USB: 분류를 위한 통합 반감독 학습 벤치마크

반감독 학습(Semi-supervised learning, SSL)은 제한된 레이블 데이터를 보완하기 위해 막대한 양의 레이블 미지의 데이터를 활용함으로써 모델의 일반화 성능을 향상시킨다. 그러나 현재까지 주로 활용되는 SSL 평가 프로토콜은 컴퓨터 비전(CV) 작업에 국한되어 있다. 또한 이전 연구들은 일반적으로 딥 신경망을 처음부터 학습하는 방식을 채택하였는데, 이는 시간이 오래 걸릴 뿐만 아니라 환경적으로도 비효율적이다. 이러한 문제를 해결하기 위해, 우리는 컴퓨터 비전(CV), 자연어 처리(NLP), 오디오 처리(Audio) 분야에서 선정한 15개의 다양하고 도전적인, 포괄적인 분류 작업을 기반으로 통합된 SSL 벤치마크(USB)를 구축하였다. 본 연구에서는 주요 SSL 방법들을 체계적으로 평가하고, 이러한 SSL 방법들을 공정하게 평가할 수 있도록 모듈화되고 확장 가능한 오픈소스 코드베이스를 제공한다. 또한, CV 작업에서 최신 기술 수준의 신경망 모델의 사전 훈련된 버전을 제공함으로써 추가적인 튜닝 비용을 낮추어 접근성을 높였다. USB를 통해 한 개의 SSL 알고리즘이 여러 도메인의 더 많은 작업에서 평가 가능하면서도 낮은 비용으로 수행할 수 있다. 구체적으로, 단일 NVIDIA V100 GPU에서 USB의 15개 작업에 대해 FixMatch를 평가하는 데 39 GPU 일(일 단위의 GPU 사용 시간)이 소요되며, 반면 TorchSSL을 사용하여 5개의 CV 작업(이미지넷을 제외한 4개의 CV 데이터셋 포함)을 평가할 경우 335 GPU 일(이중 279 GPU 일은 이미지넷을 제외한 4개의 CV 데이터셋에 대한 소요 시간)이 필요하다.