HyperAIHyperAI

Command Palette

Search for a command to run...

Spike différentiable : Repenser la descente de gradient pour l'entraînement des réseaux de neurones à impulsions

Shi Gu Yongqing Hai Shikuang Deng Shanghang Zhang Yufei Guo Yuhang Li

Résumé

Les réseaux de neurones à impulsions (Spiking Neural Networks, SNNs) sont apparus comme une méthode inspirée par la biologie, qui imite le comportement pulsé des neurones cérébraux. Cette biomimétisme confère aux SNNs une efficacité énergétique remarquable lors de l’inférence sur des architectures neuromorphiques. Toutefois, il engendre également un inconvénient intrinsèque lors de l’entraînement de SNNs performants à partir de zéro, car le caractère discret des impulsions empêche le calcul du gradient. Pour surmonter ce problème, l’approche du gradient fantôme (surrogate gradient, SG) a été proposée comme une relaxation continue. Toutefois, le choix heuristique du SG laisse ouverte la question de la manière dont ce dernier améliore l’entraînement des SNNs. Dans ce travail, nous étudions d’abord théoriquement le problème de la descente de gradient dans l’entraînement des SNNs, et introduisons une méthode de gradient par différences finies afin d’analyser quantitativement le comportement d’entraînement des SNNs. À partir de ce gradient par différences finies, nous proposons une nouvelle famille de fonctions d’impulsion différentiables, appelées Dspike, capables d’évoluer de manière adaptative pendant l’entraînement afin de trouver la forme et la régularité optimales pour l’estimation du gradient. Des expériences étendues menées sur plusieurs architectures de réseaux populaires montrent que l’entraînement des SNNs avec Dspike dépasse systématiquement les méthodes d’entraînement les plus avancées. Par exemple, sur la tâche de classification CIFAR10-DVS, nous parvenons à entraîner un réseau spiking ResNet-18 et à atteindre une précision top-1 de 75,4 % en seulement 10 pas temporels.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Spike différentiable : Repenser la descente de gradient pour l'entraînement des réseaux de neurones à impulsions | Articles | HyperAI