S-TLLR : Règle de Apprentissage Temporelle Locale Inspirée par le STDP pour les Réseaux Neuronaux à Impulsions

Les Réseaux Neuronaux à Impulsions (SNNs) sont des modèles biologiquement plausibles qui ont été identifiés comme potentiellement adaptés pour déployer une intelligence économe en énergie au niveau de l'edge, notamment pour les tâches d'apprentissage séquentiel. Cependant, l'entraînement des SNNs présente des défis importants en raison de la nécessité d'une attribution précise du crédit temporel et spatial. L'algorithme de rétropropagation dans le temps (BPTT), bien que étant la méthode la plus largement utilisée pour résoudre ces problèmes, entraîne un coût computationnel élevé en raison de sa dépendance temporelle. Dans cette étude, nous proposons S-TLLR, une nouvelle règle d'apprentissage locale temporelle à trois facteurs inspirée du mécanisme de Plasticité Dépendante du Temps des Impulsions (STDP), visant à entraîner des SNNs profonds sur des tâches d'apprentissage basées sur des événements. De plus, S-TLLR est conçu pour avoir de faibles complexités en mémoire et en temps, indépendantes du nombre de pas de temps, ce qui le rend adapté à l'apprentissage en ligne sur des dispositifs edge à faible puissance. Pour démontrer la scalabilité de notre méthode proposée, nous avons effectué des évaluations approfondies sur des jeux de données basés sur des événements couvrant un large éventail d'applications, telles que la reconnaissance d'images et de gestes, la classification audio et l'estimation du flux optique. Dans toutes les expériences, S-TLLR a atteint une haute précision, comparable à celle du BPTT, avec une réduction de la mémoire entre 5 et 50 fois et une réduction des opérations multiply-accumulate (MAC) entre 1,3 et 6,6 fois.