Comparaison entre les SNNs et les RNNs sur des jeux de données visuels neuromorphiques : similarités et différences

Les données neuromorphiques, qui enregistrent des événements de déclenchement sans cadre temporel (spike events), ont suscité un intérêt croissant en raison de leurs composantes d’information spatio-temporelles et de leur mode de traitement déclenché par événements. Les réseaux neuronaux à impulsions (SNNs) constituent une famille de modèles déclenchés par événements, caractérisés par des dynamiques spatio-temporelles, destinés au calcul neuromorphique, et sont largement utilisés comme référentiel sur des données neuromorphiques. De manière intéressante, des chercheurs de la communauté d’apprentissage automatique peuvent soutenir que les réseaux neuronaux récurrents (RNNs) — artificiels ou non — possèdent également la capacité d’extraire des caractéristiques spatio-temporelles, même s’ils ne sont pas fondamentalement déclenchés par événements. Ainsi, la question suivante émerge naturellement : « Que se passe-t-il si nous benchmarkons ensemble ces deux types de modèles sur des données neuromorphiques ? » Toutefois, cette question reste encore mal éclaircie. Dans ce travail, nous menons une étude systématique afin de comparer les SNNs et les RNNs sur des données neuromorphiques, en prenant comme cas d’étude des jeux de données visuels. Premièrement, nous identifions les similitudes et les différences entre les SNNs et les RNNs (y compris les RNNs classiques et les LSTM) du point de vue de la modélisation et de l’apprentissage. Pour assurer une comparabilité et une équité maximales, nous standardisons l’algorithme d’apprentissage supervisé basé sur la rétropropagation à travers le temps (BPTT), la fonction de perte exploitant les sorties à tous les instants temporels, la structure du réseau composée de couches entièrement connectées ou convolutives empilées, ainsi que les hyperparamètres utilisés pendant l’entraînement. En particulier, compte tenu de la fonction de perte couramment utilisée dans les RNNs, nous la modifions, inspirés du schéma de codage par fréquence, afin de la rendre plus proche de celle utilisée dans les SNNs. En outre, nous ajustons la résolution temporelle des jeux de données afin d’évaluer la robustesse et la généralisation des modèles. Enfin, une série d’expériences comparatives est menée sur deux types de jeux de données neuromorphiques : les données converties à partir de DVS (N-MNIST) et les données capturées directement par DVS (DVS Gesture).