Data Free Knowledge Distillation

데이터 없는 지식 전달(Data-free Knowledge Distillation)은 원본 훈련 데이터를 사용하지 않고 큰 사전 학습 모델의 지식을 작은 모델로 이전하는 기술입니다. 이 기술의 목표는 합성 샘플을 생성하여 작은 모델이 큰 모델의 복잡한 특징 표현과 결정 경계를 학습할 수 있도록 하는 것입니다. 이를 통해 높은 성능을 유지하면서도 계산 자원과 저장 공간을 줄일 수 있습니다. 이 기술은 컴퓨터 비전 분야에서 특히 데이터 프라이버시가 민감하거나 데이터 수집이 어려운 시나리오에서 큰 적용 가치를 가지고 있습니다.