초록
현실 세계의 시나리오에서는 데이터가 종종 긴 꼬리 분포(long-tailed distribution)를 보이기 때문에, 딥 네트워크의 학습이 더욱 어려워진다. 본 논문에서는 새로운 자기주도적 지식 증류(self-paced knowledge distillation) 프레임워크인 '다수의 전문가로부터 학습(Learning From Multiple Experts, LFME)'을 제안한다. 본 방법은 분포의 덜 불균형한 서브셋에 대해 훈련된 네트워크가 전체 데이터를 함께 훈련한 모델보다 더 우수한 성능을 보이는 관찰에서 영감을 얻었다. 이러한 모델들을 우리는 '전문가(Experts)'라고 부르며, 제안된 LFME 프레임워크는 여러 '전문가'의 지식을 통합하여 통합된 학생 모델(student model)을 학습한다. 구체적으로, 본 프레임워크는 두 수준의 적응형 학습 스케줄링을 포함한다: 자기주도적 전문가 선택(Self-paced Expert Selection)과 교과과정 기반 인스턴스 선택(Curriculum Instance Selection). 이를 통해 지식이 학생 모델에 적응적으로 전이된다. 광범위한 실험을 수행한 결과, 제안한 방법이 최신 기술 대비 뛰어난 성능을 달성함을 입증하였다. 또한, 본 방법이 최신의 긴 꼬리 분류 알고리즘에 쉽게 통합되어 추가적인 성능 향상이 가능함을 보여주었다.