Spiking-Diffusion : Modèle de diffusion discrète quantifiée par vecteurs avec réseaux neuronaux spikants

Les réseaux neuronaux à pics (SNNs) présentent un potentiel considérable pour les puces neuromorphiques à faible consommation d’énergie grâce à leur architecture binaire et pilotée par événements. Bien que les SNNs aient principalement été utilisés pour des tâches de classification, leur application à la génération d’images reste encore peu explorée. Pour combler cette lacune, nous proposons un modèle appelé Spiking-Diffusion, fondé sur un modèle de diffusion discrète à quantification vectorielle. Tout d’abord, nous développons un autoencodeur variationnel à quantification vectorielle basé sur des SNNs (VQ-SVAE) afin d’apprendre un espace latent discret pour les images. Dans le cadre du VQ-SVAE, les caractéristiques d’image sont encodées à l’aide à la fois du taux de déclenchement des pics et du potentiel postsynaptique, et un générateur de pics adaptatif est conçu pour restaurer les caractéristiques d’embedding sous forme de trains de pics. Ensuite, nous appliquons une diffusion dans un état absorbant dans l’espace latent discret, et construisons un décodeur d’image à diffusion à pics (SDID) basé sur des SNNs pour déséparasiter l’image. Ce travail constitue la première réalisation d’un modèle de diffusion entièrement composé de couches SNNs. Les résultats expérimentaux sur les jeux de données MNIST, FMNIST, KMNIST, Letters et CIFAR10 montrent que Spiking-Diffusion surpassent le modèle de génération basé sur les SNNs actuellement le plus performant. Nous obtenons des scores FID de 37,50, 91,98, 59,23, 67,41 et 120,5 respectivement sur ces jeux de données, avec des réductions de 58,60 %, 18,75 %, 64,51 %, 29,75 % et 44,88 % par rapport à l’état de l’art. Le code de notre travail sera disponible à l’adresse suivante : \url{https://github.com/Arktis2022/Spiking-Diffusion}.