自己知識蒸留

自己知識蒸留（Self-Knowledge Distillation）は、モデルが自らから学習する機械学習技術で、大規模なモデルを圧縮し効率と性能を向上させることが目的です。コンピュータビジョンの分野では、この手法は学生モデルが教師モデルから重要な知識を抽出しつつ高い精度を維持し、計算リソースの消費を削減し、モデルの展開の実現性を高めることを目指しています。