초록
최근의 대부분 준지도 딥 러닝(딥 SSL) 방법들은 유사한 패러다임을 사용했습니다: 네트워크 예측을 사용하여 의사라벨(pseudo-labels)을 업데이트하고, 의사라벨을 사용하여 네트워크 매개변수를 반복적으로 업데이트합니다. 그러나 이러한 방법들은 이론적 지원이 부족하며, 왜 예측이 좋은 의사라벨 후보가 되는지 설명할 수 없습니다. 본 논문에서는 SSL을 위한 원칙적인 엔드투엔드 프레임워크인 딥 디시퍼(D2)를 제안합니다. D2 프레임워크 내에서 우리는 네트워크 예측과 의사라벨 사이에 지수 링크 함수(exponential link function)로 연결되어 있음을 증명하였습니다. 이는 예측을 의사라벨로 사용하는 것에 대한 이론적 근거를 제공합니다. 또한, 네트워크 예측으로 의사라벨을 업데이트하면 불확실성이 발생함을 보여줍니다. 이 문제를 완화하기 위해, 우리는 반복적 재예측(repetitive reprediction, R2)이라는 훈련 전략을 제안합니다. 마지막으로, 제안된 R2-D2 방법은 대규모 ImageNet 데이터셋에서 검증되었으며, 최신 기법들보다 5% 포인트 우수한 성능을 보였습니다.