LumiNet : Le côté lumineux de la distillation de connaissances perceptuelles

Dans la littérature sur la distillation de connaissances, les méthodes basées sur les caractéristiques ont longtemps dominé en raison de leur capacité à exploiter efficacement les modèles enseignants complexes. En revanche, les approches basées sur les logits, dont l'objectif est de distiller la « connaissance sombre » provenant des modèles enseignants, présentent généralement des performances inférieures à celles des méthodes basées sur les caractéristiques. Pour combler cet écart, nous proposons LumiNet, un nouvel algorithme de distillation de connaissances conçu pour améliorer la distillation basée sur les logits. Nous introduisons le concept de « perception », visant à calibrer les logits en fonction de la capacité de représentation du modèle. Ce concept permet de corriger les problèmes d’overconfidence propres aux méthodes basées sur les logits, tout en introduisant une nouvelle méthode pour extraire des connaissances du modèle enseignant. LumiNet reconstruit les logits d’un échantillon en tenant compte des relations qu’il entretient avec les autres échantillons du lot. Sur des benchmarks tels que CIFAR-100, ImageNet et MSCOCO, LumiNet excelle, surpassant même des méthodes de pointe basées sur les caractéristiques : par exemple, sur ImageNet, il améliore respectivement les performances de 1,5 % et 2,05 % par rapport à KD avec ResNet18 et MobileNetV2.