12 天前

知识蒸馏中的数据偏差修正

{Yu Liu, Haihang You, Guanglu Song, Shenghan Zhang, Boxiao Liu}
知识蒸馏中的数据偏差修正
摘要

知识蒸馏(Knowledge Distillation)是模型压缩与加速的代表性技术,对于在资源受限设备上部署神经网络具有重要意义。传统知识蒸馏中,教师模型向学生模型传递的知识体现为教师模型的输入-输出映射关系,即所有输入输出对的分布。然而,在实际应用中,学生模型仅从数据集中的有限数据对进行学习,而这些数据可能具有偏差,我们认为这种偏差限制了知识蒸馏的性能表现。本文首次从定量角度定义了用于训练的数据采样均匀性,为那些基于有偏数据进行学习的方法提供了一个统一的分析视角。我们进一步在真实世界数据集上评估了数据的均匀性,结果表明,现有知识蒸馏方法实际上能够提升训练数据的均匀性。在此基础上,我们提出了两种面向均匀性的方法,用于校正知识蒸馏过程中数据的偏差问题。在人脸识别(Face Recognition)与行人重识别(Person Re-identification)任务上的大量实验验证了所提方法的有效性。此外,我们对人脸识别任务中的采样数据进行了分析,发现所提方法显著改善了不同种族之间以及易样本与难样本之间的分布平衡性。该优势在从零开始训练学生模型时同样得以体现,其性能可与标准知识蒸馏方法相媲美。

知识蒸馏中的数据偏差修正 | 最新论文 | HyperAI超神经