초록
지식 증류(Knowledge distillation)는 자원 제한된 장치에 신경망을 배포하는 데 중요한 모델 압축 및 가속화 기법의 대표적인 예이다. 교사 모델에서 학생 모델로 전달되는 지식은 교사 모델의 입력-출력 매핑 또는 모든 입력-출력 쌍으로 표현된다. 그러나 실질적으로 학생 모델은 데이터셋의 데이터 쌍들로부터만 학습하게 되며, 이러한 데이터는 편향될 수 있다. 우리는 이러한 편향이 지식 증류의 성능을 제한한다고 생각한다. 본 논문에서는 먼저 학습에 사용되는 샘플 데이터의 균일성(uniformity)을 정량적으로 정의함으로써, 편향된 데이터로부터 학습하는 기법들을 통합적인 관점에서 분석할 수 있는 기반을 마련한다. 이후 실제 세계 데이터셋에서 균일성을 평가한 결과, 기존의 방법들이 실제로 데이터의 균일성을 개선하고 있음을 보여준다. 더 나아가, 지식 증류에서 데이터 편향을 보정하기 위한 두 가지 균일성 중심의 새로운 방법을 제안한다. 얼굴 인식(Face Recognition)과 사람 재식별(Person Re-identification)에 대한 광범위한 실험을 통해 제안한 방법의 효과성을 입증하였다. 또한 얼굴 인식 데이터의 샘플링 결과를 분석한 결과, 인종 간 및 쉬운 샘플과 어려운 샘플 간의 균형이 향상됨을 확인하였다. 이 효과는 학생 모델을 처음부터 훈련할 때에도 동일하게 나타나며, 표준 지식 증류와 비슷한 성능을 달성할 수 있음을 보여준다.