Pseudo-Labeling의 방어: 불확실성을 고려한 Pseudo-Label 선택 프레임워크에 대한 연구

최근의 반지도 학습(Semi-Supervised Learning, SSL) 연구는 강력한 성능을 달성하는 일관성 정규화 기반 방법에 주로 지배되고 있습니다. 그러나 이러한 방법들은 모든 데이터 모드에서 쉽게 생성하기 어려운 영역별 데이터 증강에 크게 의존합니다. 의사라벨링(Pseudo-labeling, PL)은 이와 같은 제약이 없는 일반적인 SSL 접근 방식이지만, 원래 형태에서는 상대적으로 빈약한 성능을 보입니다. 우리는 PL이 성능이 부족한 이유가 잘못 교정된 모델로부터 오류가 많은 고신뢰도 예측이 발생하여 많은 잘못된 의사라벨을 생성하고, 이로 인해 노이즈가 많은 훈련 과정을 겪기 때문이라고 주장합니다. 이를 해결하기 위해 우리는 훈련 과정에서 만나는 노이즈의 양을 크게 줄여서 의사라벨링 정확도를 개선하는 불확실성 인지 의사라벨 선택(Uncertainty-aware Pseudo-label Selection, UPS) 프레임워크를 제안합니다. 또한, UPS는 의사라벨링 과정을 일반화하여 음의 의사라벨(negative pseudo-labels) 생성을 가능하게 합니다. 이러한 음의 의사라벨은 다중 라벨 분류뿐만 아니라 단일 라벨 분류를 개선하기 위한 음의 학습에도 사용될 수 있습니다. 우리는 CIFAR-10 및 CIFAR-100 데이터셋에서 최근의 SSL 방법들과 비교하여 강력한 성능을 달성하였으며, UCF-101 비디오 데이터셋과 Pascal VOC 다중 라벨 데이터셋에서도 우리 방법의 유연성을 입증하였습니다.