HyperAIHyperAI

Command Palette

Search for a command to run...

Descente de gradient à déclenchement épars

Nicolas Perez-Nieves Dan F.M. Goodman

Résumé

Un intérêt croissant se porte sur l’émulation des réseaux de neurones à impulsions (Spiking Neural Networks, SNNs) sur des dispositifs de calcul neuromorphiques, en raison de leur faible consommation énergétique. Les progrès récents ont permis d’entraîner les SNNs jusqu’à un point où ils commencent à rivaliser avec les réseaux de neurones artificiels (Artificial Neural Networks, ANNs) en termes de précision, tout en étant particulièrement économes en énergie lorsqu’ils sont exécutés sur des architectures neuromorphiques. Toutefois, le processus d’entraînement des SNNs repose encore sur des opérations tensorielles denses initialement conçues pour les ANNs, qui ne tirent pas parti de la nature spatio-temporellement creuse des SNNs. Nous présentons ici le premier algorithme d’ajustement par rétropropagation pour SNNs exploitant la structure creuse, qui atteint une précision égale ou supérieure aux méthodes de pointe actuelles, tout en étant nettement plus rapide et plus efficace en mémoire. Nous démontrons l’efficacité de notre méthode sur des jeux de données réels de complexité variable (Fashion-MNIST, Neuromorphic-MNIST et Spiking Heidelberg Digits), obtenant un accélération jusqu’à 150 fois dans la phase de rétropropagation et une réduction de 85 % de l’utilisation mémoire, sans perte de précision.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp