초록
최근 제안된 시계열 앙상블(Temporal Ensembling)은 여러 준지도 학습 벤치마크에서 최고의 성과를 달성하였습니다. 이 방법은 각 훈련 예제에 대한 라벨 예측의 지수 이동 평균을 유지하며, 이 목표와 일관되지 않는 예측을 패널티로 부과합니다. 그러나 목표가 에폭마다 한 번만 변경되기 때문에, 시계열 앙상블은 큰 데이터셋을 학습할 때 불편해집니다. 이러한 문제를 해결하기 위해, 우리는 모델 가중치를 평균화하는 방법인 Mean Teacher를 제안합니다. Mean Teacher는 추가적인 이점으로 테스트 정확도를 개선하고, Temporal Ensembling보다 적은 라벨로 훈련할 수 있습니다. 네트워크 아키텍처를 변경하지 않고, Mean Teacher는 250개의 라벨로 SVHN에서 4.35%의 오류율을 달성하여, 1000개의 라벨로 훈련된 Temporal Ensembling을 능가하였습니다. 또한 좋은 네트워크 아키텍처가 성능에 중요하다는 것을 보여주었습니다. Mean Teacher와 Residual Networks를 결합하여, 우리는 CIFAR-10에서 4000개의 라벨로 10.55%에서 6.28%로, 그리고 ImageNet 2012에서 전체 라벨의 10%로 35.24%에서 9.11%로 성능을 개선했습니다.