자기지도 학습 및 반지도 학습을 위한 지수 이동 평균 정규화

배치 정규화(BN)의 플러그인 대체 기법으로서 지수 이동 평균 정규화(EMAN)를 제안한다. EMAN은 기존의 학생-교사 기반 자기지도 및 반지도 학습 기법의 성능을 향상시킨다. 표준 BN이 각 배치 내에서 통계량을 계산하는 것과 달리, EMAN은 학생의 BN 통계량을 기반으로 지수 이동 평균을 사용하여 교사 측에서 통계량을 업데이트한다. 이 설계는 BN이 내재적으로 가진 샘플 간 상관관계를 줄이고 교사의 일반화 능력을 향상시킨다. ImageNet에서 1% 또는 10%의 레이블이 제공될 때, EMAN은 자기지도 학습의 강력한 기준 모델을 4~6점, 반지도 학습의 경우 약 7점 향상시킨다. 이러한 성능 향상은 다양한 방법론, 네트워크 아키텍처, 학습 기간 및 데이터셋에 걸쳐 일관되게 나타나며, 본 기법의 일반적인 효과성을 입증한다. 코드는 https://github.com/amazon-research/exponential-moving-average-normalization 에서 공개되어 있다.