Spike différentiable : Repenser la descente de gradient pour l'entraînement des réseaux de neurones à impulsions

Les réseaux de neurones à impulsions (Spiking Neural Networks, SNNs) sont apparus comme une méthode inspirée par la biologie, qui imite le comportement pulsé des neurones cérébraux. Cette biomimétisme confère aux SNNs une efficacité énergétique remarquable lors de l’inférence sur des architectures neuromorphiques. Toutefois, il engendre également un inconvénient intrinsèque lors de l’entraînement de SNNs performants à partir de zéro, car le caractère discret des impulsions empêche le calcul du gradient. Pour surmonter ce problème, l’approche du gradient fantôme (surrogate gradient, SG) a été proposée comme une relaxation continue. Toutefois, le choix heuristique du SG laisse ouverte la question de la manière dont ce dernier améliore l’entraînement des SNNs. Dans ce travail, nous étudions d’abord théoriquement le problème de la descente de gradient dans l’entraînement des SNNs, et introduisons une méthode de gradient par différences finies afin d’analyser quantitativement le comportement d’entraînement des SNNs. À partir de ce gradient par différences finies, nous proposons une nouvelle famille de fonctions d’impulsion différentiables, appelées Dspike, capables d’évoluer de manière adaptative pendant l’entraînement afin de trouver la forme et la régularité optimales pour l’estimation du gradient. Des expériences étendues menées sur plusieurs architectures de réseaux populaires montrent que l’entraînement des SNNs avec Dspike dépasse systématiquement les méthodes d’entraînement les plus avancées. Par exemple, sur la tâche de classification CIFAR10-DVS, nous parvenons à entraîner un réseau spiking ResNet-18 et à atteindre une précision top-1 de 75,4 % en seulement 10 pas temporels.