데이터 분포가 변화할 경우, 자체 학습을 사용하세요

우리는 엔트로피 최소화와 의사라벨링과 같은 자기학습 기법이 체계적인 도메인 전이 상황에서 배포된 컴퓨터 비전 모델의 성능을 간단하면서도 효과적으로 향상시킬 수 있음을 입증한다. 우리는 다양한 대규모 실험을 수행하여, 모델 아키텍처, 사전 훈련 기법, 분포 전이 유형에 관계없이 일관된 성능 향상을 보였다. 동시에 자기학습은 실용적으로 사용하기 쉬우며, 원래의 훈련 데이터나 훈련 방식에 대한 지식이나 접근이 필요 없고, 하이퍼파라미터 설정에 대해 강건하며, 구현이 간단하고 적은 적응 에포크만으로도 충분하다. 이로 인해 자기학습 기법은 실제 세계에서 머신러닝 알고리즘을 적용하는 모든 실무자에게 매우 매력적인 접근법이 된다. 우리는 CIFAR10-C(8.5% 오류), ImageNet-C(22.0% mCE), ImageNet-R(17.4% 오류), ImageNet-A(14.8% 오류)에서 최신 기준에 근거한 적응 성능을 제시하며, 자기지도 학습 적응 방법의 동역학을 이론적으로 분석하고, 적응 기법이 존재하더라도 여전히 도전적인 성능을 요구하는 새로운 분류 데이터셋(ImageNet-D)을 제안한다.