HyperAIHyperAI

Command Palette

Search for a command to run...

LumiNet: Die helle Seite der perceptiven Wissensübertragung

Md. Ismail Hossain M M Lutfe Elahi Sameera Ramasinghe Ali Cheraghian Fuad Rahman Nabeel Mohammed Shafin Rahman

Zusammenfassung

In der Literatur zum Knowledge Distillation haben herkömmlich basierte Methoden aufgrund ihrer Fähigkeit, effektiv umfangreiche Lehrmodelle auszunutzen, dominiert. Im Gegensatz dazu zeigen logitbasierte Ansätze, die darauf abzielen, die sogenannte „dunkle Kenntnis“ aus Lehrmodellen zu extrahieren, typischerweise eine geringere Leistung im Vergleich zu herkömmlich basierten Methoden. Um diese Leistungslücke zu schließen, stellen wir LumiNet vor – einen neuartigen Algorithmus für Knowledge Distillation, der darauf abzielt, logitbasierte Distillation zu verbessern. Wir führen den Begriff der „Wahrnehmung“ ein, um die Logits anhand der Repräsentationsfähigkeit des Modells zu kalibrieren. Dieser Ansatz adressiert das Problem der Überzuversichtlichkeit in logitbasierten Distillationsschemata und stellt zudem eine neue Methode zur Kenntnisübertragung vom Lehrmodell vor. Dabei werden die Logits einer Instanz durch Berücksichtigung der Beziehungen zu anderen Instanzen innerhalb des Batches rekonstruiert. LumiNet erreicht herausragende Ergebnisse auf Benchmark-Datenbanken wie CIFAR-100, ImageNet und MSCOCO und übertrifft führende herkömmlich basierte Methoden. So zeigt LumiNet beispielsweise gegenüber KD mit ResNet18 und MobileNetV2 auf ImageNet Verbesserungen von jeweils 1,5 % und 2,05 %.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
LumiNet: Die helle Seite der perceptiven Wissensübertragung | Paper | HyperAI