소수 샘플 학습을 위한 자기지도 학습 기반 지식 증류

실세계에는 엄청나게 많은 객체 클래스가 존재하며, 이를 동시에 모두 학습하는 것은 불가능하다. 소수 샘플 학습(few-shot learning)은 매우 적은 수의 샘플로도 비정규 분포 데이터를 빠르게 학습할 수 있다는 점에서 주목할 만한 학습 패러다임이다. 최근의 연구들 [7, 41]은 단순히 우수한 특징 임베딩(feature embedding)을 학습하는 것만으로도 더 복잡한 메타학습(meta-learning) 및 메트릭 학습(metric learning) 알고리즘보다 뛰어난 성능을 달성할 수 있음을 보여주었다. 본 논문에서는 소수 샘플 학습 과제에 대해 깊은 신경망의 표현 능력을 향상시키기 위한 간단한 접근법을 제안한다. 우리는 두 단계 학습 과정을 따르며, 첫 번째 단계에서는 특징 임베딩의 엔트로피를 최대화하도록 신경망을 훈련함으로써 자기지도 학습(self-supervised) 보조 손실을 활용해 최적의 출력 다양체(manifold)를 생성한다. 두 번째 단계에서는 자기지도 학습 쌍(self-supervised twins)을 가깝게 모으는 방식으로 특징 임베딩의 엔트로피를 최소화하면서, 학생-교사 드리프트(student-teacher distillation)를 통해 다양체를 제약한다. 실험 결과, 첫 번째 단계에서도 자기지도 학습이 현재 최고 수준의 기법들을 초월하는 성능을 보이며, 두 번째 단계의 드리프트 과정을 통해 추가적인 성능 향상이 가능함을 확인하였다. 본 연구의 코드는 다음 주소에서 제공된다: https://github.com/brjathu/SKD.