IM-Loss : perte de maximisation de l'information pour les réseaux neuronaux spikants

Le réseau neuronal à pics (Spiking Neural Network, SNN), reconnu comme une architecture biologiquement plausible, attire actuellement une attention croissante dans le domaine de la recherche. Il transmet l'information sous forme de pics binaires 0/1. Ce mécanisme biomimétique confère aux SNN une efficacité énergétique extrême, car il évite toute opération de multiplication sur les matériel neuromorphiques. Toutefois, la quantification binaire 0/1 utilisée lors du passage avant (forward-pass) entraîne une perte d'information et une dégradation de la précision. Pour remédier à ce problème, l'article propose une nouvelle fonction de perte, appelée perte de maximisation de l'information (IM-Loss), dont l'objectif est de maximiser le flux d'information au sein du SNN. Cette IM-Loss améliore directement l'expressivité informationnelle du SNN, tout en assurant un rôle similaire à celui de la normalisation, sans introduire d'opérations supplémentaires (comme des biais ou des facteurs d'échelle) lors de l'étape d'inférence. Par ailleurs, nous introduisons une nouvelle estimation différentiable de l’activité des pics, nommée gradients de substitution évolutifs (Evolutionary Surrogate Gradients, ESG). En attribuant automatiquement des gradients de substitution évolutifs à la fonction d’activité des pics, l’ESG garantit des mises à jour suffisantes du modèle au début de l’entraînement et des gradients précis à la fin, assurant ainsi une convergence facile et des performances élevées sur les tâches. Les résultats expérimentaux sur des jeux de données populaires, tant statiques non-spiking que neuromorphiques, démontrent que les modèles SNN entraînés par notre méthode surpassent les algorithmes de pointe actuels.