HyperAIHyperAI

Command Palette

Search for a command to run...

Élimination efficace des réseaux de neurones avec contrainte de sparsité globale

Xiao Zhou Weizhong Zhang Hang Xu Tong Zhang

Résumé

L’élagage de poids est une technique efficace pour réduire la taille du modèle et le temps d’inférence des réseaux neuronaux profonds dans les déploiements du monde réel. Toutefois, étant donné que les magnitudes et l’importance relative des poids varient considérablement d’une couche à l’autre d’un réseau neuronal, les méthodes existantes s’appuient généralement sur un réglage manuel ou des règles heuristiques prédéfinies afin de déterminer individuellement les taux d’élagage optimaux pour chaque couche. Cette approche conduit généralement à des performances sous-optimales. Dans cet article, en travaillant directement dans l’espace des probabilités, nous proposons une méthode efficace de maigreissement de réseau appelée masquage probabiliste (ProbMask), qui résout une formulation naturelle de maigreissement sous contrainte de densité globale. L’idée clé consiste à utiliser la probabilité comme critère global pour toutes les couches afin d’évaluer l’importance des poids. Une caractéristique attrayante de ProbMask réside dans le fait que les quantités de redondance de poids peuvent être apprises automatiquement grâce à notre contrainte, évitant ainsi le problème du réglage individuel des taux d’élagage pour chaque couche du réseau. Des résultats expérimentaux étendus sur CIFAR-10/100 et ImageNet démontrent que notre méthode est particulièrement efficace, surpassant de manière significative les méthodes de pointe précédentes, notamment dans les situations à taux d’élagage élevé. Notamment, l’écart en précision Top-1 entre notre ProbMask et les méthodes existantes peut atteindre jusqu’à 10 %. En outre, comme produit secondaire, nous montrons que ProbMask est également très efficace pour identifier des supermasques, c’est-à-dire des sous-réseaux présentant une performance élevée dans un réseau dense à poids aléatoires.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp