HyperAIHyperAI

Command Palette

Search for a command to run...

EagleEye : Évaluation rapide de sous-réseaux pour une élagage de réseau neuronal efficace

Bailin Li Bowen Wu Jiang Su Guangrun Wang Liang Lin

Résumé

Déterminer la partie redondante au niveau computationnel d’un réseau de neurones profond (DNN) entraîné constitue la question centrale à laquelle les algorithmes de pruning (élagage) s’attellent. De nombreux algorithmes tentent de prédire les performances du modèle après élagage en introduisant diverses méthodes d’évaluation, mais celles-ci sont soit peu précises, soit trop complexes pour une application générale. Dans ce travail, nous proposons une méthode d’élagage appelée EagleEye, qui intègre un composant d’évaluation simple mais efficace basé sur une normalisation par lots adaptative. Ce composant met en évidence une forte corrélation entre différentes structures de DNN élaguées et leur précision finale atteinte. Cette corrélation forte permet de repérer rapidement les candidats élagués présentant la plus grande potentialité en termes de précision, sans avoir à les ajuster réellement (fine-tuning). Ce module est également généralisable et peut être intégré pour améliorer certains algorithmes d’élagage existants. Dans nos expériences, EagleEye obtient des performances supérieures à toutes les méthodes d’élagage étudiées. Plus précisément, pour élaguer MobileNet V1 et ResNet-50, EagleEye dépasse toutes les méthodes comparées, avec une amélioration allant jusqu’à 3,8 %. Même dans des expériences plus exigeantes, comme l’élagage du modèle compact de MobileNet V1, EagleEye atteint une précision maximale de 70,9 % tout en réduisant globalement de 50 % le nombre d’opérations (FLOPs). Tous les résultats de précision sont exprimés en précision Top-1 pour la classification d’images sur ImageNet. Le code source et les modèles sont disponibles pour la communauté open-source à l’adresse suivante : https://github.com/anonymous47823493/EagleEye.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
EagleEye : Évaluation rapide de sous-réseaux pour une élagage de réseau neuronal efficace | Articles | HyperAI