노이즈 있는 레이블을 가진 학습을 위한 자기지도 학습 전훈: 나누기 대비

노이즈가 있는 레이블을 사용한 학습(LNL) 방법의 성공은 전체(노이즈가 있는) 훈련 데이터셋을 사용하여 표준 감독 학습을 수행하는 웜업 단계의 성공에 크게 의존한다. 본 논문에서는 이러한 웜업 단계에서 발생하는 '웜업 장애'를 규명한다. 이 장애는 표준 웜업 단계가 고품질의 특징 추출기 학습을 수행하지 못하고, 노이즈가 있는 레이블의 기억화(memorization)를 방지하지 못한다는 점이다. 이를 해결하기 위해 우리는 '대비를 통해 분할하기(Contrast to Divide, C2D)'라는 간단한 프레임워크를 제안한다. C2D는 자기지도 학습(self-supervised learning) 방식으로 특징 추출기를 사전 훈련함으로써 이 문제를 해결한다. 자기지도 사전 훈련을 통해 기존 LNL 방법의 성능이 크게 향상되며, 웜업 단계의 노이즈 수준에 대한 취약성이 크게 감소하고, 단계의 지속 시간이 단축되며, 추출된 특징의 품질이 향상된다. C2D는 기존 방법들과 즉시 호환되며, 특히 높은 노이즈 환경에서 뚜렷한 성능 향상을 보인다. CIFAR-100에서 90%의 노이즈가 존재하는 상황에서 기존 최고 성능 대비 27% 이상의 성능 향상을 달성하였다. 실제 생활 기반의 노이즈 환경에서, mini-WebVision 데이터셋으로 훈련된 C2D는 WebVision 및 ImageNet 검증 세트에서 기존 연구 대비 3%의 상위-1 정확도로 우수한 성능을 보였다. 본 연구에서는 다양한 사전 훈련 방법의 성능을 분석하고, 반지도 학습(semi-supervised learning)을 활용했을 때 LNL의 이론적 최상한 성능 한계를 추정하는 심층적인 분석을 수행하였다. 실험 재현을 위한 코드는 https://github.com/ContrastToDivide/C2D 에 공개되어 있다.