EagleEye : Évaluation rapide de sous-réseaux pour une élagage de réseau neuronal efficace

Déterminer la partie redondante au niveau computationnel d’un réseau de neurones profond (DNN) entraîné constitue la question centrale à laquelle les algorithmes de pruning (élagage) s’attellent. De nombreux algorithmes tentent de prédire les performances du modèle après élagage en introduisant diverses méthodes d’évaluation, mais celles-ci sont soit peu précises, soit trop complexes pour une application générale. Dans ce travail, nous proposons une méthode d’élagage appelée EagleEye, qui intègre un composant d’évaluation simple mais efficace basé sur une normalisation par lots adaptative. Ce composant met en évidence une forte corrélation entre différentes structures de DNN élaguées et leur précision finale atteinte. Cette corrélation forte permet de repérer rapidement les candidats élagués présentant la plus grande potentialité en termes de précision, sans avoir à les ajuster réellement (fine-tuning). Ce module est également généralisable et peut être intégré pour améliorer certains algorithmes d’élagage existants. Dans nos expériences, EagleEye obtient des performances supérieures à toutes les méthodes d’élagage étudiées. Plus précisément, pour élaguer MobileNet V1 et ResNet-50, EagleEye dépasse toutes les méthodes comparées, avec une amélioration allant jusqu’à 3,8 %. Même dans des expériences plus exigeantes, comme l’élagage du modèle compact de MobileNet V1, EagleEye atteint une précision maximale de 70,9 % tout en réduisant globalement de 50 % le nombre d’opérations (FLOPs). Tous les résultats de précision sont exprimés en précision Top-1 pour la classification d’images sur ImageNet. Le code source et les modèles sont disponibles pour la communauté open-source à l’adresse suivante : https://github.com/anonymous47823493/EagleEye.