Étude des approches basées sur le courant et sur la commande pour les réseaux de neurones récurrents à impulsions précis et économes en énergie

Les réseaux neuronaux à pics (SNNs), fondés sur des calculs et des communications basés sur des pics, peuvent être plus économes en énergie que les réseaux neuronaux artificiels (ANNs) pour les applications embarquées. Toutefois, les SNNs ont principalement été appliqués au traitement d’images, bien que les applications audio s’adaptent mieux à leurs dynamiques temporelles. Nous évaluons l’exactitude et l’efficacité énergétique des modèles de type Intégration et Émission avec fuite (LIF) sur des jeux de données audio à pics, en les comparant aux ANNs. Nous démontrons que, pour le traitement des séquences temporelles, le modèle LIF basé sur le courant (Cuba-LIF) surpasse le LIF classique. En outre, les réseaux récurrents à portes ont montré une précision supérieure à celle des réseaux récurrents simples pour ces tâches. Par conséquent, nous introduisons SpikGRU, une version à portes du Cuba-LIF. SpikGRU atteint une précision supérieure à celle d’autres réseaux récurrents SNNs sur la tâche la plus difficile étudiée dans ce travail. Le Cuba-LIF et SpikGRU atteignent une précision au niveau de l’état de l’art, avec une différence inférieure à 1,1 % par rapport à la meilleure précision des ANNs, tout en réduisant jusqu’à 49 fois le nombre d’opérations par rapport aux ANNs, grâce à la forte sparsité des pics.