Selbstwissen-Distillierung

Selbst-Knowledge Distillation ist eine Technik im Maschinenlernen, bei der ein Modell von sich selbst lernt, um große Modelle zu komprimieren und ihre Effizienz und Leistung zu verbessern. Im Bereich der Computer Vision zielt diese Methode darauf ab, dem Schülermodell zu ermöglichen, die wesentlichen Kenntnisse vom Lehrermodell zu extrahieren, während es eine hohe Genauigkeit beibehält, den Verbrauch von Rechenressourcen reduziert und die Bereitstellung des Modells erleichtert.