Approximation de séquences par réseau de neurones spiking à propagation avant pour l'apprentissage spatio-temporel : théorie et méthodes d'optimisation

Un système dynamique de neurones à déclenchement (spiking neurons) ne comportant que des connexions en avant (feedforward) peut classifier des motifs spatio-temporels sans recourir à des connexions récurrentes. Toutefois, la construction théorique d’un réseau de neurones à déclenchement (SNN) en boucle avant pour l’approximation d’une séquence temporelle reste floue, ce qui rend difficile l’optimisation des architectures SNN afin d’apprendre des motifs spatio-temporels complexes.Dans ce travail, nous établissons un cadre théorique permettant de comprendre et d’améliorer l’approximation de séquences à l’aide d’un SNN en boucle avant.Notre cadre démontre qu’un SNN en boucle avant, composé d’un seul neurone par couche et doté de connexions sautées (skip-layer), peut approximer la fonction de mapping entre toute paire arbitraire de trains d’impulsions d’entrée et de sortie sur un domaine compact. En outre, nous prouvons que l’utilisation de neurones hétérogènes présentant des dynamiques variées, combinée à des connexions sautées, améliore significativement l’approximation des séquences dans un SNN en boucle avant. En conséquence, nous proposons des architectures SNN intégrant ces constructions, entraînées à l’aide d’algorithmes supervisés basés sur la rétropropagation à travers le temps (BPTT) et d’algorithmes non supervisés fondés sur la plasticité dépendante du temps des déclenchements (STDP), afin de classifier des données spatio-temporelles. Une méthode d’optimisation bayésienne à deux espaces de recherche (Dual Search-space Bayesian Optimization) est développée afin d’optimiser à la fois l’architecture et les paramètres du SNN proposé, en tenant compte de la dynamique hétérogène des neurones et des connexions sautées.