초록
실제 세계의 이미지는 클래스당 이미지 수의 심각한 불균형으로 인해 긴 꼬리 분포(long-tailed distribution)를 보이는 경우가 많다. 긴 꼬리 시각 인식 문제에 대해 효과적이고 간단한 접근 방식은 인스턴스 균형 샘플링을 통해 특징 표현을 학습하고, 클래스 균형 샘플링을 통해 분류기를 별도로 학습하는 것이다. 본 연구에서는 인스턴스 샘플링을 통해 학습된 특징 표현이 긴 꼬리 설정에서는 최적의 성능을 달성하기 어렵다는 핵심 관찰을 바탕으로, 새로운 프레임워크를 제안한다. 본 연구의 주요 기여는 지식 증류(knowledge distillation)를 활용하여 특징 표현을 강화하는 새로운 학습 방법, 즉 클래스 균형 증류(Class-Balanced Distillation, CBD)를 제안한 것이다. CBD는 첫 번째 학습 단계에서 학습된 교사 모델(teacher)의 지도 아래, 두 번째 학습 단계에서 특징 표현이 진화하도록 유도한다. 두 번째 단계에서는 미흡하게 표현된 클래스에 주목하기 위해 클래스 균형 샘플링을 사용한다. 이 프레임워크는 다수의 교사 모델을 자연스럽게 활용할 수 있으며, 여러 모델의 앙상블 정보를 활용하여 인식 능력을 향상시킬 수 있다. 실험 결과, 제안한 기법이 ImageNet-LT, iNaturalist17, iNaturalist18와 같은 긴 꼬리 인식 벤치마크에서 기존 최고 성능 기법을 일관되게 상회함을 보였다.