초록
긴 꼬리 시각 인식 문제를 지식 증류(Knowledge Distillation) 관점에서 접근하기 위해, 가상 예제를 증류하는(Distill the Virtual Examples, DiVE) 방법을 제안한다. 구체적으로, 교사 모델의 예측값을 가상 예제로 간주함으로써, 특정 조건 하에서 이러한 가상 예제로부터의 증류가 레이블 분포 학습(Label Distribution Learning)과 동치임을 입증한다. 또한, 가상 예제의 분포가 원래 입력 분포보다 더 평탄해질 경우, 부족하게 표현된 꼬리 클래스(Tail Classes)에 대해 상당한 성능 향상이 이루어진다는 점을 보여주며, 이는 긴 꼬리 인식 문제에서 매우 중요한 특성이다. 제안된 DiVE 방법은 가상 예제 분포가 평탄해지도록 명시적으로 조정할 수 있다. iNaturalist와 같은 대규모 데이터셋을 포함한 세 가지 벤치마크 데이터셋에서 실시한 광범위한 실험을 통해, DiVE 방법이 최첨단 기법들을 크게 능가함을 입증한다. 더불어 추가적인 분석과 실험을 통해 가상 예제 해석의 타당성을 검증하고, 긴 꼬리 문제에 특화된 DiVE의 설계 요소들이 효과적임을 보여준다.