Dual Student: 반감독 학습에서 교사의 한계를 넘어서

최근, 일관성 기반 방법이 준지도 학습(SSL)에서 최고 수준의 결과를 달성하였습니다. 이러한 방법들은 항상 명시적 또는 암시적인 교사 모델과 학생 모델 두 가지 역할을 포함하며, 일관성 제약 조건에 따라 서로 다른 변동에 대한 예측을 벌칙으로 부과합니다. 그러나 이 두 역할의 가중치는 교사가 본질적으로 학생의 지수 이동 평균(EMA)이기 때문에 긴밀하게 결합되어 있습니다. 본 연구에서는 이러한 결합된 EMA 교사가 성능 한계를 초래한다는 것을 보여주며, 이를 해결하기 위해 교사를 다른 학생으로 대체하는 Dual Student를 소개합니다. 또한, 안정적인 샘플(stable sample)이라는 새로운 개념을 정의하고, 우리의 구조가 학습 가능하도록 설계된 안정화 제약 조건을 제안합니다. 더 나아가, 우리 방법의 두 가지 변형에 대해 논의하며, 이들 변형은 더욱 높은 성능을 생성합니다. 광범위한 실험 결과는 우리 방법이 여러 주요 SSL 벤치마크에서 분류 성능을 크게 향상시키는 것을 보여줍니다. 특히, 13층 CNN은 CIFAR-10 데이터셋에서 1k 라벨로 오류율을 16.84%에서 12.39%로, CIFAR-100 데이터셋에서 10k 라벨로 오류율을 34.10%에서 31.56%로 감소시키는 것으로 나타났습니다. 또한, 우리 방법은 도메인 적응에서도 명확한 개선 효과를 보였습니다.