Élimination efficace des réseaux de neurones avec contrainte de sparsité globale

L’élagage de poids est une technique efficace pour réduire la taille du modèle et le temps d’inférence des réseaux neuronaux profonds dans les déploiements du monde réel. Toutefois, étant donné que les magnitudes et l’importance relative des poids varient considérablement d’une couche à l’autre d’un réseau neuronal, les méthodes existantes s’appuient généralement sur un réglage manuel ou des règles heuristiques prédéfinies afin de déterminer individuellement les taux d’élagage optimaux pour chaque couche. Cette approche conduit généralement à des performances sous-optimales. Dans cet article, en travaillant directement dans l’espace des probabilités, nous proposons une méthode efficace de maigreissement de réseau appelée masquage probabiliste (ProbMask), qui résout une formulation naturelle de maigreissement sous contrainte de densité globale. L’idée clé consiste à utiliser la probabilité comme critère global pour toutes les couches afin d’évaluer l’importance des poids. Une caractéristique attrayante de ProbMask réside dans le fait que les quantités de redondance de poids peuvent être apprises automatiquement grâce à notre contrainte, évitant ainsi le problème du réglage individuel des taux d’élagage pour chaque couche du réseau. Des résultats expérimentaux étendus sur CIFAR-10/100 et ImageNet démontrent que notre méthode est particulièrement efficace, surpassant de manière significative les méthodes de pointe précédentes, notamment dans les situations à taux d’élagage élevé. Notamment, l’écart en précision Top-1 entre notre ProbMask et les méthodes existantes peut atteindre jusqu’à 10 %. En outre, comme produit secondaire, nous montrons que ProbMask est également très efficace pour identifier des supermasques, c’est-à-dire des sous-réseaux présentant une performance élevée dans un réseau dense à poids aléatoires.