STSC-SNN : Connexion synaptique spatio-temporelle avec convolution temporelle et attention pour les réseaux neuronaux à impulsions

Les réseaux neuronaux à impulsions (SNNs), en tant que l’un des modèles algorithmiques du calcul neuromorphique, ont suscité un intérêt considérable dans la recherche en raison de leur capacité à traiter l’information temporelle, de leur faible consommation énergétique et de leur forte plausibilité biologique. Leur potentiel à extraire efficacement des caractéristiques spatio-temporelles les rend particulièrement adaptés au traitement des flux d’événements. Toutefois, les structures synaptiques existantes dans les SNNs sont presque toutes à connexion complète ou basées sur des convolutions spatiales 2D, deux approches qui ne permettent pas d’extraire adéquatement les dépendances temporelles. Dans ce travail, nous nous inspirons des synapses biologiques pour proposer un modèle de réseau neuronal à impulsions à connexion synaptique spatio-temporelle (STSC-SNN), afin d’améliorer les champs réceptifs spatio-temporels des connexions synaptiques et ainsi établir des dépendances temporelles entre les couches. Plus précisément, nous intégrons des convolutions temporelles et des mécanismes d’attention pour implémenter les fonctions de filtrage et de commutation synaptiques. Nous démontrons qu’attribuer aux modèles synaptiques des dépendances temporelles permet d’améliorer les performances des SNNs sur des tâches de classification. En outre, nous étudions l’impact de différentes tailles de champs réceptifs spatio-temporels et réévaluons l’efficacité des modules temporels dans les SNNs. Notre approche est évaluée sur plusieurs jeux de données neuromorphiques, notamment DVS128 Gesture (reconnaissance de gestes), N-MNIST, CIFAR10-DVS (classification d’images) et SHD (reconnaissance de chiffres parlés). Les résultats montrent que le modèle proposé atteint une précision supérieure à l’état de l’art sur presque tous les jeux de données.