LumiNet: 인지 지식 증류의 밝은 면

지식 증류(知識蒸留, knowledge distillation) 분야에서 특징 기반(feature-based) 방법은 교사 모델의 방대한 표현 능력을 효과적으로 활용할 수 있다는 장점으로 인해 주류를 이어왔다. 반면, 교사 모델로부터 '어두운 지식(dark knowledge)'을 증류하는 것을 목표로 하는 로짓 기반(logit-based) 방법은 일반적으로 특징 기반 방법에 비해 성능이 떨어지는 경향이 있다. 이러한 격차를 해소하기 위해, 본 연구는 로짓 기반 증류를 강화하기 위해 설계된 새로운 지식 증류 알고리즘인 LumiNet을 제안한다. 우리는 '지각(perception)'이라는 개념을 도입하여, 모델의 표현 능력에 기반한 로짓 보정을 실현하고자 하였다. 이 개념은 로짓 기반 증류 방법에서 나타나는 과도한 확신(overconfidence) 문제를 해결하면서 동시에 교사 모델로부터 지식을 증류하는 새로운 방법을 제시한다. 구체적으로, 한 샘플의 로짓을 배치 내 다른 샘플들과의 관계를 고려하여 재구성한다. LumiNet은 CIFAR-100, ImageNet, MSCOCO와 같은 주요 벤치마크에서 뛰어난 성능을 발휘하며, 최첨단 특징 기반 방법들(예: ResNet18 및 MobileNetV2 기반 KD)을 초월한다. 특히 ImageNet에서 ResNet18 기반 KD 대비 1.5%, MobileNetV2 기반 KD 대비 2.05%의 성능 향상을 기록하였다.