Réduire Votre Pas de Temps : Vers une Reconnaissance d'Objets à Faible Latence avec des Réseaux Neuronaux à Impulsions

La reconnaissance d'objets neuromorphiques à l'aide de réseaux neuronaux à impulsions (SNNs) est la pierre angulaire du calcul neuromorphique à faible consommation énergétique. Cependant, les SNNs existants souffrent d'une latence importante, nécessitant entre 10 et 40 étapes temporelles ou plus pour reconnaître des objets neuromorphiques. À faible latence, les performances des SNNs existants sont considérablement dégradées. Dans ce travail, nous proposons le réseau neuronal à impulsions réduit (SSNN) pour réaliser une reconnaissance d'objets neuromorphiques à faible latence sans compromettre les performances. Plus précisément, nous atténuons la redondance temporelle dans les SNNs en les divisant en plusieurs étapes avec des étapes temporelles progressivement réduites, ce qui diminue considérablement la latence d'inférence. Au cours de cette réduction des étapes temporelles, le transformateur temporel ajuste doucement l'échelle temporelle tout en préservant au maximum l'information. De plus, nous ajoutons plusieurs classifieurs précoces au SNN lors de l'entraînement pour atténuer le décalage entre le gradient substitutif et le gradient réel, ainsi que le phénomène de disparition ou d'explosion du gradient, permettant ainsi d'éliminer la dégradation des performances à faible latence. Des expériences approfondies sur des jeux de données neuromorphiques tels que CIFAR10-DVS, N-Caltech101 et DVS-Gesture ont montré que l'SSNN peut améliorer la précision de base de 6,55% à 21,41%. Avec seulement 5 étapes temporelles en moyenne et sans aucune augmentation de données, l'SSNN atteint une précision de 73,63% sur CIFAR10-DVS. Ce travail présente un SNN avec une échelle temporelle hétérogène et fournit des informations précieuses pour le développement de SNNs performants et à faible latence.