Réseaux Neuronaux Spiking Convolutifs pour l’Extraction de Caractéristiques Spatio-Temporelles

Les réseaux de neurones à impulsions (Spiking Neural Networks, SNNs) peuvent être utilisés dans les systèmes à faible puissance et embarqués (comme les puces néuromorphiques émergentes) en raison de leur nature basée sur des événements. De plus, ils présentent l'avantage d'un coût de calcul faible par rapport aux réseaux de neurones artificiels conventionnels (Artificial Neural Networks, ANNs), tout en conservant les propriétés des ANNs. Cependant, le codage temporel dans les couches des réseaux de neurones à impulsions convolutifs et d'autres types de SNNs n'a pas encore été étudié en profondeur. Dans cet article, nous apportons des éclairages sur l'extraction de caractéristiques spatio-temporelles des SNNs convolutifs grâce à des expériences conçues pour exploiter cette propriété. Le réseau de neurones à impulsions convolutif peu profond surpassa les méthodes d'extraction de caractéristiques spatio-temporelles les plus avancées actuellement disponibles, telles que C3D, ConvLstm et des réseaux similaires. De plus, nous présentons une nouvelle architecture profonde à impulsions pour aborder des problèmes du monde réel (en particulier les tâches de classification), qui a obtenu des performances supérieures par rapport aux autres méthodes SNN sur les jeux de données NMNIST (99,6 %), DVS-CIFAR10 (69,2 %) et DVS-Gesture (96,7 %), ainsi que par rapport aux méthodes ANN sur les jeux de données UCF-101 (42,1 %) et HMDB-51 (21,5 %). Il est également important de noter que le processus d'entraînement est mis en œuvre sur la base d'une variante de la rétropropagation spatio-temporelle expliquée dans cet article.