HyperAIHyperAI

Command Palette

Search for a command to run...

Initialisation pilotée par les fluctuations pour l'entraînement des réseaux neuronaux à impulsions

Julian Rossbroich Julia Gygax Friedemann Zenke

Résumé

Les réseaux neuronaux à impulsions (SNNs) fondent le traitement d'information à faible consommation d'énergie et tolérant aux défauts dans le cerveau, et pourraient offrir une alternative économe en énergie aux réseaux neuronaux profonds conventionnels lorsqu’ils sont implémentés sur des accélérateurs matériels neuromorphiques adaptés. Toutefois, la mise en œuvre de SNNs capables de résoudre des tâches computationnelles complexes en simulation reste un défi majeur. Les techniques de gradient fantôme (SG) se sont imposées comme une solution standard pour l’entraînement des SNNs de manière end-to-end. Néanmoins, leur succès dépend fortement de l’initialisation des poids synaptiques, tout comme dans le cas des réseaux neuronaux artificiels conventionnels (ANNs). Toutefois, contrairement aux ANNs, il n’est pas encore clair quel constitue un bon état initial pour un SNN. Dans cette étude, nous proposons une stratégie générale d’initialisation pour les SNNs, inspirée du régime à fluctuations dominantes fréquemment observé dans le cerveau. Plus précisément, nous dérivons des solutions pratiques pour l’initialisation des poids dépendante des données, garantissant un fonctionnement en régime de déclenchement par fluctuations dans les neurones LIF (leaky integrate-and-fire), largement utilisés. Nous montrons empiriquement que les SNNs initialisés selon notre stratégie présentent une performance d’apprentissage supérieure lorsqu’ils sont entraînés avec des gradients fantômes. Ces résultats se généralisent à plusieurs jeux de données et architectures de SNN, y compris des réseaux entièrement connectés, convolutifs profonds, récurrents, ainsi que des SNNs plus biologiquement plausibles respectant la loi de Dale. Ainsi, l’initialisation en régime de fluctuations dominantes constitue une stratégie pratique, polyvalente et facile à mettre en œuvre pour améliorer la performance de l’entraînement des SNNs sur diverses tâches en ingénierie neuromorphique et en neurosciences computationnelles.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp