LumiNet：感知知识蒸馏的光明一面

在知识蒸馏的研究文献中，基于特征的方法因其能够有效挖掘大型教师模型的丰富信息而占据主导地位。相比之下，基于logit的方法旨在从教师模型中蒸馏“暗知识”（dark knowledge），但其性能通常逊于基于特征的方法。为弥合这一差距，本文提出一种新颖的知识蒸馏算法——LumiNet，旨在提升基于logit蒸馏的效果。我们引入“感知”（perception）这一新概念，旨在根据模型的表征能力对logit进行校准。该概念不仅缓解了基于logit蒸馏方法中存在的过度自信问题，还提出了一种全新的知识蒸馏机制：通过考虑批次中样本之间的相互关系，重构每个样本的logit输出。在CIFAR-100、ImageNet和MSCOCO等多个基准测试上，LumiNet均表现出卓越性能，超越了当前主流的基于特征的方法。例如，在ImageNet数据集上，相较于使用ResNet18和MobileNetV2作为教师模型的KD方法，LumiNet分别实现了1.5%和2.05%的准确率提升。