Retard d'apprentissage dans les réseaux de neurones à impulsions utilisant des convolutions dilatées à espacements apprenables

Les Réseaux de Neurones à Déclenchement (SNNs) constituent une voie de recherche prometteuse pour concevoir des systèmes de traitement d’information à faible consommation énergétique, en particulier pour les tâches temporelles telles que la reconnaissance vocale. Dans les SNNs, les délais désignent le temps nécessaire à un pic (spike) pour se propager d’un neurone à un autre. Ces délais sont cruciaux car ils influencent les instants d’arrivée des pics, et il est bien établi que les neurones à déclenchement réagissent de manière plus forte aux pics d’entrée coïncidents. Plus formellement, il a été démontré théoriquement que des délais plastiques augmentent considérablement l’expressivité des SNNs. Toutefois, des algorithmes efficaces pour apprendre ces délais ont longtemps fait défaut. Dans ce travail, nous proposons un nouvel algorithme discret dans le temps, adapté aux SNNs profonds à propagation avant, basé sur la rétropropagation, et fonctionnant de manière hors ligne. Pour simuler les délais entre couches consécutives, nous utilisons des convolutions 1D dans le temps. Les noyaux ne contiennent qu’un petit nombre de poids non nuls — un par synapse — dont les positions correspondent aux délais. Ces positions sont apprises conjointement avec les poids grâce à une méthode récemment proposée, la convolution dilatée à espacements apprenables (DCLS). Nous avons évalué notre méthode sur trois jeux de données : le Spiking Heidelberg Dataset (SHD), le Spiking Speech Commands (SSC) et sa version non-spiking, le Google Speech Commands v0.02 (GSC), tous trois exigeant la détection de motifs temporels. Nous avons utilisé des SNNs à propagation avant avec deux ou trois couches cachées entièrement connectées, ainsi que des neurones de type leaky integrate-and-fire classiques. Nous avons montré que des délais aléatoires fixes améliorent les performances, mais que l’apprentissage de ces délais apporte encore une amélioration significative. En outre, notre méthode dépasse l’état de l’art sur les trois jeux de données, sans recourir à des connexions récurrentes et avec un nombre de paramètres substantiellement réduit. Ce travail met en évidence le potentiel de l’apprentissage des délais dans le développement de modèles précis et performants pour le traitement de données temporelles. Le code associé, basé sur PyTorch / SpikingJelly, est disponible à l’adresse suivante : https://github.com/Thvnvtos/SNN-delays