数据集蒸馏

数据集蒸馏是指合成一个小规模数据集，使得在此小规模数据集上训练的模型能够在原始大规模数据集上达到高性能。该算法以大规模真实数据集为输入，输出小规模合成蒸馏数据集，并通过在独立的真实数据集上测试模型性能进行评估。优秀的蒸馏数据集不仅有助于数据集理解，还在持续学习、隐私保护、神经架构搜索等领域具有广泛应用价值。