无数据知识蒸馏

Data-free Knowledge Distillation是一种在自然语言处理领域中应用的技术，旨在不使用原始训练数据的情况下，将大型复杂模型的知识迁移到小型模型中。该方法通过合成数据或利用模型的内部结构来实现知识的传递，从而在保护隐私和减少资源消耗的同时，提升小型模型的性能和泛化能力，具有重要的应用价值。