Data Free Knowledge Distillation

Data-free Knowledge Distillation是一种在不使用原始训练数据的情况下，将大型预训练模型的知识迁移到小型模型的技术。其目标是通过生成合成样本，使小型模型能够学习到大型模型的复杂特征表示和决策边界，从而在保持较高性能的同时减少计算资源和存储需求。该技术在计算机视觉领域具有重要应用价值，特别是在数据隐私敏感和数据获取困难的场景中。