LumiNet: Die helle Seite der perceptiven Wissensübertragung

In der Literatur zum Knowledge Distillation haben herkömmlich basierte Methoden aufgrund ihrer Fähigkeit, effektiv umfangreiche Lehrmodelle auszunutzen, dominiert. Im Gegensatz dazu zeigen logitbasierte Ansätze, die darauf abzielen, die sogenannte „dunkle Kenntnis“ aus Lehrmodellen zu extrahieren, typischerweise eine geringere Leistung im Vergleich zu herkömmlich basierten Methoden. Um diese Leistungslücke zu schließen, stellen wir LumiNet vor – einen neuartigen Algorithmus für Knowledge Distillation, der darauf abzielt, logitbasierte Distillation zu verbessern. Wir führen den Begriff der „Wahrnehmung“ ein, um die Logits anhand der Repräsentationsfähigkeit des Modells zu kalibrieren. Dieser Ansatz adressiert das Problem der Überzuversichtlichkeit in logitbasierten Distillationsschemata und stellt zudem eine neue Methode zur Kenntnisübertragung vom Lehrmodell vor. Dabei werden die Logits einer Instanz durch Berücksichtigung der Beziehungen zu anderen Instanzen innerhalb des Batches rekonstruiert. LumiNet erreicht herausragende Ergebnisse auf Benchmark-Datenbanken wie CIFAR-100, ImageNet und MSCOCO und übertrifft führende herkömmlich basierte Methoden. So zeigt LumiNet beispielsweise gegenüber KD mit ResNet18 und MobileNetV2 auf ImageNet Verbesserungen von jeweils 1,5 % und 2,05 %.