Connexions neuronales adaptatives pour l'apprentissage de la parcimonie

L’apprentissage de la parcimonie vise à réduire les coûts computationnels et mémoire des grands réseaux de neurones profonds (DNN) par élagage des connexions neuronales, tout en préservant une haute précision. Un vaste corpus de travaux a été consacré au développement de méthodes d’apprentissage de la parcimonie, et des expériences récentes à grande échelle ont montré que deux approches principales — l’élagage basé sur la magnitude et le Dropout variationnel (VD) — atteignent des résultats de pointe similaires pour les tâches de classification. Nous proposons une méthode appelée Connexions neuronales adaptatives (ANC), qui permet de paramétrer explicitement les connexions fines entre neurones au sein de chaque couche via des matrices d’adjacence apprises par rétropropagation. Le paramétrage explicite des connexions neurone-à-neurone présente deux avantages principaux : 1. La parcimonie peut être optimisée de manière explicite grâce à une régularisation basée sur la norme appliquée aux matrices d’adjacence ; et 2. Lorsqu’elle est combinée au Dropout variationnel (ce que nous appelons ANC-VD), les matrices d’adjacence peuvent être interprétées comme des paramètres d’importance apprise des poids, ce que nous supposons améliore la convergence du VD. Des expériences menées sur ResNet18 montrent que les architectures enrichies par ANC surpassent leurs versions initiales (vanilla).