Descente de gradient à déclenchement épars

Un intérêt croissant se porte sur l’émulation des réseaux de neurones à impulsions (Spiking Neural Networks, SNNs) sur des dispositifs de calcul neuromorphiques, en raison de leur faible consommation énergétique. Les progrès récents ont permis d’entraîner les SNNs jusqu’à un point où ils commencent à rivaliser avec les réseaux de neurones artificiels (Artificial Neural Networks, ANNs) en termes de précision, tout en étant particulièrement économes en énergie lorsqu’ils sont exécutés sur des architectures neuromorphiques. Toutefois, le processus d’entraînement des SNNs repose encore sur des opérations tensorielles denses initialement conçues pour les ANNs, qui ne tirent pas parti de la nature spatio-temporellement creuse des SNNs. Nous présentons ici le premier algorithme d’ajustement par rétropropagation pour SNNs exploitant la structure creuse, qui atteint une précision égale ou supérieure aux méthodes de pointe actuelles, tout en étant nettement plus rapide et plus efficace en mémoire. Nous démontrons l’efficacité de notre méthode sur des jeux de données réels de complexité variable (Fashion-MNIST, Neuromorphic-MNIST et Spiking Heidelberg Digits), obtenant un accélération jusqu’à 150 fois dans la phase de rétropropagation et une réduction de 85 % de l’utilisation mémoire, sans perte de précision.