自知识蒸馏

Self-Knowledge Distillation是一种机器学习技术，通过让模型从自身学习，压缩大型模型以提高效率和性能。在计算机视觉领域，该方法旨在使学生模型在保持高精度的同时，从教师模型中提取关键知识，减少计算资源消耗，提升模型部署的可行性。