HyperAIHyperAI

Command Palette

Search for a command to run...

S-TLLR : Règle de Apprentissage Temporelle Locale Inspirée par le STDP pour les Réseaux Neuronaux à Impulsions

Marco P. E. Apolinario Kaushik Roy

Résumé

Les Réseaux Neuronaux à Impulsions (SNNs) sont des modèles biologiquement plausibles qui ont été identifiés comme potentiellement adaptés pour déployer une intelligence économe en énergie au niveau de l'edge, notamment pour les tâches d'apprentissage séquentiel. Cependant, l'entraînement des SNNs présente des défis importants en raison de la nécessité d'une attribution précise du crédit temporel et spatial. L'algorithme de rétropropagation dans le temps (BPTT), bien que étant la méthode la plus largement utilisée pour résoudre ces problèmes, entraîne un coût computationnel élevé en raison de sa dépendance temporelle. Dans cette étude, nous proposons S-TLLR, une nouvelle règle d'apprentissage locale temporelle à trois facteurs inspirée du mécanisme de Plasticité Dépendante du Temps des Impulsions (STDP), visant à entraîner des SNNs profonds sur des tâches d'apprentissage basées sur des événements. De plus, S-TLLR est conçu pour avoir de faibles complexités en mémoire et en temps, indépendantes du nombre de pas de temps, ce qui le rend adapté à l'apprentissage en ligne sur des dispositifs edge à faible puissance. Pour démontrer la scalabilité de notre méthode proposée, nous avons effectué des évaluations approfondies sur des jeux de données basés sur des événements couvrant un large éventail d'applications, telles que la reconnaissance d'images et de gestes, la classification audio et l'estimation du flux optique. Dans toutes les expériences, S-TLLR a atteint une haute précision, comparable à celle du BPTT, avec une réduction de la mémoire entre 5 et 50 fois et une réduction des opérations multiply-accumulate (MAC) entre 1,3 et 6,6 fois.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
S-TLLR : Règle de Apprentissage Temporelle Locale Inspirée par le STDP pour les Réseaux Neuronaux à Impulsions | Articles | HyperAI