Pruning de Fisher par groupe pour une compression de réseau pratique

La compression de réseau a fait l’objet de nombreuses études, car elle permet de réduire à la fois la mémoire et le coût computationnel lors de l’inférence. Toutefois, les méthodes précédentes traitent rarement des structures complexes telles que les connexions résiduelles, les convolutions groupées ou depth-wise, ainsi que les réseaux à pyramide de caractéristiques, dans lesquels les canaux de plusieurs couches sont couplés et doivent être supprimés simultanément. Dans cet article, nous proposons une approche générale de suppression de canaux pouvant être appliquée à diverses structures complexes. Plus précisément, nous introduisons un algorithme de regroupement de couches permettant de détecter automatiquement les canaux couplés. Ensuite, nous proposons une métrique unifiée fondée sur l’information de Fisher pour évaluer l’importance d’un canal individuel ainsi que d’un groupe de canaux couplés. Par ailleurs, nous observons que l’accélération de l’inférence sur GPU est davantage corrélée à la réduction de la mémoire qu’au nombre d’opérations flottantes (FLOPs), et nous utilisons donc la réduction de mémoire associée à chaque canal pour normaliser l’importance. Notre méthode peut être appliquée à toute structure, y compris celles comprenant des canaux couplés. Nous menons des expériences approfondies sur plusieurs architectures de base, incluant ResNet et ResNeXt classiques, MobileNetV2 conçu pour les dispositifs mobiles, ainsi que RegNet basé sur une recherche automatique d’architecture (NAS), sur des tâches de classification d’images et de détection d’objets — cette dernière étant moins explorée dans la littérature. Les résultats expérimentaux confirment que notre méthode permet efficacement de compresser des réseaux sophistiqués, tout en accélérant significativement l’inférence sans compromettre la précision.