SynthDistill：基于合成数据的知识蒸馏面部识别

最先进的面部识别网络通常计算成本高昂，无法用于移动应用。训练轻量级面部识别模型同样需要大规模的身份标注数据集。然而，收集和使用大规模面部识别数据集存在隐私和伦理问题。虽然生成合成数据集以训练面部识别模型是一个替代方案，但生成具有足够类内变异性的合成数据仍具挑战性。此外，基于真实数据和合成数据训练的模型性能之间仍然存在较大差距。在本文中，我们提出了一种新的框架（命名为SynthDistill），通过使用合成数据从预训练的教师面部识别模型中提取知识来训练轻量级面部识别模型。我们利用预训练的面部生成网络生成合成的面部图像，并使用这些合成图像来学习一个轻量级的学生网络。我们使用的合成面部图像没有身份标签，从而缓解了合成数据集中类内变异生成的问题。相反，我们提出了一种新颖的动态采样策略，从面部生成网络的中间潜在空间中采样，以在训练批次中包含更具挑战性的图像的新变体，并进一步探索新的面部图像。我们在五个不同的面部识别数据集上的实验结果表明，我们的轻量级模型相比之前基于合成数据集训练的模型具有显著优势，在LFW数据集上达到了99.52%的验证准确率。结果还显示，我们提出的框架显著缩小了基于真实数据和合成数据训练之间的性能差距。为了便于复现实验，源代码已公开发布。