Élagage de sac à dos avec distillation interne

La suppression de neurones dans les réseaux de neurones permet de réduire le coût computationnel d’un réseau sur-paramétré afin d’améliorer son efficacité. Les méthodes courantes vont de la régularisation par norme ℓ₁ à la recherche d’architecture neuronale (Neural Architecture Search, NAS). Dans ce travail, nous proposons une nouvelle méthode de suppression qui optimise la précision finale du réseau après suppression tout en extrayant des connaissances des couches internes du réseau parent sur-paramétré. Pour permettre cette approche, nous formulons le problème de suppression comme un problème de sac à dos (Knapsack Problem), qui optimise le compromis entre l’importance des neurones et leur coût computationnel associé. Ensuite, nous supprimons les canaux du réseau tout en préservant sa structure de haut niveau. Le réseau ainsi réduit est ensuite affiné sous la supervision du réseau parent, en exploitant les connaissances internes de ce dernier — une technique que nous désignons sous le nom de distillation de connaissance interne (Inner Knowledge Distillation). Notre méthode atteint des résultats de suppression d’état de l’art sur ImageNet, CIFAR-10 et CIFAR-100 en utilisant des architectures de base ResNet. Pour traiter des structures de réseau complexes telles que les convolutions avec skip-connections ou les convolutions séparables, nous proposons une approche par regroupement de blocs afin de gérer efficacement ces architectures. Grâce à cette méthode, nous obtenons des architectures compactes ayant le même nombre d’opérations flottantes (FLOPs) que EfficientNet-B0 et MobileNetV3, mais avec une précision supérieure de 1 % et 0,3 % respectivement sur ImageNet, ainsi qu’un temps d’exécution plus rapide sur GPU.