MDCS: 일관성 자기 증류를 통한 더욱 다양한 전문가들의 장기 인식

최근, 다중 전문가 방법이 장미 꼬리 인식(Long-Tail Recognition, LTR)에서 상당한 개선을 가져왔습니다. 우리는 LTR 향상을 위해 더욱 강화되어야 할 두 가지 측면을 요약합니다: (1) 더 다양한 전문가; (2) 낮은 모델 분산. 그러나 이전의 방법들은 이러한 측면들을 잘 처리하지 못했습니다. 이를 해결하기 위해, 우리는 일관성 자기 증류(Consistency Self-distillation, CS)를 활용한 더 다양한 전문가(More Diverse Experts with Consistency Self-distillation, MDCS)를 제안하여 이전 방법들이 남긴 간극을 메우고자 합니다. 우리의 MDCS 접근법은 두 가지 핵심 구성 요소로 이루어져 있습니다: 다양성 손실(Diversity Loss, DL)과 일관성 자기 증류(CS). 구체적으로, DL은 전문가들이 서로 다른 범주에 집중하도록 조절함으로써 그들 사이의 다양성을 증진시킵니다. 모델 분산을 줄이기 위해, 우리는 KL 발산(KL Divergence)을 사용하여 약하게 증강된 인스턴스의 풍부한 지식을 전문가들의 자기 증류에 활용합니다. 특히, 우리는 편향되거나 노이즈가 있는 지식을 피하기 위해 올바르게 분류된 인스턴스를 선택하는 확신 있는 인스턴스 샘플링(Confident Instance Sampling, CIS)을 설계하였습니다. 분석 및 아블레이션 연구를 통해 우리의 방법이 이전 작업보다 효과적으로 전문가들의 다양성을 높이고, 모델의 분산을 크게 줄이며 인식 정확도를 향상시키는 것을 입증하였습니다. 또한, 우리의 DL과 CS 역할은 서로 보완적이고 결합되어 있습니다: 전문가들의 다양성이 CS로부터 혜택을 받으며, DL 없이는 CS가 뛰어난 결과를 얻지 못합니다. 실험 결과는 우리의 MDCS 접근법이 CIFAR10-LT, CIFAR100-LT, ImageNet-LT, Places-LT 및 iNaturalist 2018 등 다섯 가지 유명한 장미 꼬리 벤치마크에서 최신 기술(SOTA)보다 1% ~ 2% 우수함을 보여줍니다. 코드는 https://github.com/fistyee/MDCS에서 제공됩니다.