La suppression de connexions (network pruning) est une méthode efficace pour réduire les coûts computationnels des réseaux de neurones sur-paramétrés afin de les déployer sur des systèmes à ressources limitées. Les techniques récentes de re-entraînement des réseaux supprimés, telles que le weight rewinding et le learning rate rewinding, ont démontré une supériorité par rapport à la fine-tuning traditionnelle dans la récupération de la précision perdue (Renda et al., 2020), mais le mécanisme exact derrière cette performance reste encore mal compris. Dans ce travail, nous menons des expériences approfondies afin de vérifier et analyser l’efficacité surprenante du learning rate rewinding. Nous constatons que la clé du succès de cette méthode réside dans l’utilisation d’un taux d’apprentissage élevé. Un phénomène similaire peut être observé dans d’autres stratégies de taux d’apprentissage impliquant des valeurs élevées, comme la stratégie 1-cycle (Smith et al., 2019). En exploitant la bonne stratégie de taux d’apprentissage lors du re-entraînement, nous mettons en évidence un phénomène contre-intuitif : des réseaux supprimés aléatoirement peuvent même atteindre de meilleures performances que des réseaux supprimés de manière méthodique (fine-tunés avec une approche classique). Nos résultats soulignent l’importance cruciale de la stratégie de taux d’apprentissage dans le re-entraînement des réseaux supprimés – un détail souvent négligé par les praticiens lors de l’implémentation de la suppression de connexions. Résumé en une phrase : Nous étudions l’efficacité de différentes mécaniques de re-entraînement dans le cadre de la suppression de connexions.