대조 정규화를 통한 반감독 학습

반응형 레이블 예측에 대한 일관성 정규화는 반감독 학습에서 핵심 기법으로 자리 잡았지만, 높은 성능을 달성하기 위해 여전히 많은 학습 반복 횟수가 필요하다. 본 연구에서는 일관성 정규화가 모델 업데이트 과정에서 신뢰도가 낮은 의사 레이블을 가진 샘플을 제외함으로써 레이블 정보의 전파를 제한한다는 점을 분석한다. 이를 바탕으로, 미라벨 데이터의 특징이 잘 군집화된 상태에서 일관성 정규화의 효율성과 정확도를 향상시키기 위해 대조적 정규화(contrastive regularization)를 제안한다. 구체적으로, 강한 증강을 거친 샘플들이 의사 레이블에 따라 군집에 할당된 후, 본 대조적 정규화는 신뢰도가 높은 의사 레이블을 가진 특징들이 같은 군집 내 특징들과 집중되도록 모델을 업데이트하면서, 다른 군집의 특징들과는 멀어지도록 유도한다. 그 결과, 신뢰도 높은 의사 레이블의 정보가 잘 군집화된 특징을 통해 학습 과정 중 더 많은 미라벨 샘플로 효과적으로 전파될 수 있다. 반감독 학습 임계값에서 제안한 대조적 정규화는 기존의 일관성 기반 방법들을 개선하고, 특히 적은 학습 반복 횟수에서도 최신 기술 수준(SOTA)의 성능을 달성한다. 또한, 외부 분포(out-of-distribution) 샘플이 포함된 개방형 반감독 학습 환경에서도 본 방법은 강건한 성능을 보였다.