Initialisation pilotée par les fluctuations pour l'entraînement des réseaux neuronaux à impulsions

Les réseaux neuronaux à impulsions (SNNs) fondent le traitement d'information à faible consommation d'énergie et tolérant aux défauts dans le cerveau, et pourraient offrir une alternative économe en énergie aux réseaux neuronaux profonds conventionnels lorsqu’ils sont implémentés sur des accélérateurs matériels neuromorphiques adaptés. Toutefois, la mise en œuvre de SNNs capables de résoudre des tâches computationnelles complexes en simulation reste un défi majeur. Les techniques de gradient fantôme (SG) se sont imposées comme une solution standard pour l’entraînement des SNNs de manière end-to-end. Néanmoins, leur succès dépend fortement de l’initialisation des poids synaptiques, tout comme dans le cas des réseaux neuronaux artificiels conventionnels (ANNs). Toutefois, contrairement aux ANNs, il n’est pas encore clair quel constitue un bon état initial pour un SNN. Dans cette étude, nous proposons une stratégie générale d’initialisation pour les SNNs, inspirée du régime à fluctuations dominantes fréquemment observé dans le cerveau. Plus précisément, nous dérivons des solutions pratiques pour l’initialisation des poids dépendante des données, garantissant un fonctionnement en régime de déclenchement par fluctuations dans les neurones LIF (leaky integrate-and-fire), largement utilisés. Nous montrons empiriquement que les SNNs initialisés selon notre stratégie présentent une performance d’apprentissage supérieure lorsqu’ils sont entraînés avec des gradients fantômes. Ces résultats se généralisent à plusieurs jeux de données et architectures de SNN, y compris des réseaux entièrement connectés, convolutifs profonds, récurrents, ainsi que des SNNs plus biologiquement plausibles respectant la loi de Dale. Ainsi, l’initialisation en régime de fluctuations dominantes constitue une stratégie pratique, polyvalente et facile à mettre en œuvre pour améliorer la performance de l’entraînement des SNNs sur diverses tâches en ingénierie neuromorphique et en neurosciences computationnelles.