Conception conjointe matérielle/logicielle avec matériel de calcul in-mémoire sans ADC pour les réseaux de neurones à impulsions

Les réseaux neuronaux à impulsions (Spiking Neural Networks, SNNs) sont des modèles bio-plausibles offrant un potentiel considérable pour réaliser des implémentations économes en énergie de tâches séquentielles sur des dispositifs bord (edge) à ressources limitées. Toutefois, les plateformes commerciales edge basées sur des GPU standards ne sont pas optimisées pour déployer les SNNs, entraînant des consommations énergétiques élevées et des latences importantes. Bien que les plateformes analogiques de calcul in-mémoire (In-Memory Computing, IMC) puissent servir d’unités d’inférence économes en énergie, elles sont gravement affectées par les exigences importantes en énergie, en latence et en surface liées aux convertisseurs numériques-analogiques à haute précision (HP-ADC), ce qui annule les avantages du calcul in-mémoire. Nous proposons une méthodologie de co-conception matérielle/logicielle pour déployer les SNNs dans une architecture IMC sans ADC, en utilisant des amplificateurs de lecture comme convertisseurs 1-bit à la place des HP-ADC conventionnels, afin de résoudre ces problèmes. Notre cadre proposé entraîne une dégradation minimale de la précision grâce à une formation pilotée par le matériel, et permet de s’étendre au-delà des tâches simples de classification d’images vers des tâches séquentielles plus complexes, telles que la régression séquentielle. Des expériences menées sur des tâches complexes telles que l’estimation de flux optique et la reconnaissance de gestes montrent qu’en augmentant progressivement le degré de prise en compte du matériel durant l’entraînement des SNNs, le modèle parvient à s’adapter et à apprendre les erreurs liées aux non-idéalisations propres à l’architecture IMC sans ADC. En outre, la solution IMC proposée offre des améliorations significatives en termes d’énergie et de latence, respectivement de 2 à 7 fois et de 8,9 à 24,6 fois, selon le modèle SNN et la charge de travail, par rapport à une architecture IMC basée sur des HP-ADC.