모든 레이블이 동일한 것은 아니다: 레이블 그룹화와 공학습을 통한 반감독 학습 강화

퍼지 레이블링( pseudo-labeling )은 반감독 학습(semi-supervised learning, SSL)의 핵심 구성 요소이다. 이 방법은 반복적으로 모델을 사용하여 미라벨링된 데이터에 대해 인공 레이블을 생성하고, 이를 통해 모델을 학습시키는 방식에 기반한다. 이러한 다양한 방법들 사이에는 공통적으로 존재하는 특성이 하나 있다. 즉, 클래스 간 시각적 유사성에 대한 사전 지식을 고려하지 않고, 오직 모델의 예측 결과만을 바탕으로 레이블링 결정을 내린다는 점이다. 본 논문에서는 이러한 접근 방식이 미라벨링 데이터 풀 내에서 시각적으로 유사한 클래스를 적절히 표현하지 못함으로써 퍼지 레이블링의 품질을 저하시킨다는 점을 입증한다. 이를 해결하기 위해 우리는 레이블의 의미적 특성(semantic)과 공학습(co-training)을 활용하는 SemCo라는 새로운 방법을 제안한다. SemCo는 클래스 레이블의 두 가지 서로 다른 시각을 기반으로 두 개의 분류기를 학습한다. 하나의 분류기는 레이블의 one-hot 표현을 사용하며 클래스 간 잠재적인 유사성은 무시한다. 반면 다른 분류기는 레이블의 분산 표현(distributed view)을 사용하여 잠재적으로 유사한 클래스들을 그룹화한다. 이후 두 분류기를 서로의 불일치(disagreement)를 기반으로 공학습시킴으로써 보다 강력한 학습을 유도한다. 제안한 방법은 다양한 SSL 작업에서 최신 기준(SOTA) 성능을 달성하며, 특히 1,000개의 레이블링된 예시를 사용한 Mini-ImageNet 데이터셋에서 5.6%의 정확도 향상을 기록한다. 또한 본 방법은 최적의 성능에 도달하기 위해 더 작은 배치 크기와 더 적은 학습 반복 횟수만으로도 충분함을 보여준다. 코드는 https://github.com/islam-nassar/semco 에 공개되어 있다.