Feather : Une solution élégante pour une éclaircissage efficace des réseaux de neurones profonds

L’élagage des réseaux de neurones constitue une méthode de plus en plus populaire pour concevoir des modèles compacts et efficaces, adaptés aux environnements à ressources limitées, tout en préservant des performances élevées. Bien que l’élagage puisse être réalisé via un processus itératif de formation et de finetuning, la tendance récente consiste à intégrer le processus de création de sparsité directement dans le déroulement standard de l’entraînement. À cette fin, nous introduisons Feather, un module d’entraînement creux efficace dont le cœur repose sur l’estimateur Straight-Through puissant, combiné à un nouvel opérateur de seuillage et à une technique de mise à l’échelle des gradients, permettant ainsi une performance robuste et immédiate en matière de sparsification. L’efficacité et la souplesse de Feather sont démontrées sur diverses architectures utilisant le jeu de données CIFAR, tandis qu’elle atteint sur ImageNet une précision de validation Top-1 de pointe avec l’architecture ResNet-50, dépassant de manière significative les méthodes existantes, y compris celles plus complexes et plus coûteuses en ressources computationnelles. Le code source est disponible publiquement à l’adresse suivante : https://github.com/athglentis/feather.