Spiking-Diffusion: Vektorquantisierter diskreter Diffusionsmodell mit spikingen neuronalen Netzen

Spiking Neural Networks (SNNs) besitzen ein erhebliches Potenzial für energiesparende neuromorphe Chips dank ihrer binären und ereignisgesteuerten Architektur. Obwohl SNNs vorwiegend für Klassifizierungsaufgaben eingesetzt wurden, blieb ihre Anwendung bei Bildgenerierungsaufgaben bisher stark begrenzt. Um diese Lücke zu schließen, stellen wir ein Spiking-Diffusion-Modell vor, das auf dem vektorquantisierten diskreten Diffusionsmodell basiert. Zunächst entwickeln wir einen vektorquantisierten variationalen Autoencoder mit SNNs (VQ-SVAE), um einen diskreten Latentraum für Bilder zu lernen. In VQ-SVAE werden Bildmerkmale sowohl anhand der Spikespitzenrate als auch der postsynaptischen Potentiale kodiert, und ein adaptiver Spikesgenerator wird entworfen, um die Embedding-Merkmale in Form von Spiketrain-Strömen wiederherzustellen. Anschließend führen wir eine Diffusion im absorbierenden Zustand im diskreten Latentraum durch und konstruieren einen spikingen Diffusions-Bilddecoder (SDID) mit SNNs, um das Bild von Rauschen zu befreien. Unser Ansatz ist der erste, der ein vollständig aus SNN-Schichten bestehendes Diffusionsmodell aufbaut. Experimentelle Ergebnisse auf den Datensätzen MNIST, FMNIST, KMNIST, Letters und CIFAR10 zeigen, dass Spiking-Diffusion das bestehende SNN-basierte Generativmodell übertrifft. Wir erreichen FID-Werte von 37,50, 91,98, 59,23, 67,41 und 120,5 auf den jeweiligen Datensätzen, wobei sich die FID-Werte im Vergleich zur State-of-the-Art-Methode um 58,60 %, 18,75 %, 64,51 %, 29,75 % und 44,88 % verringern. Der Quellcode wird unter \url{https://github.com/Arktis2022/Spiking-Diffusion} verfügbar sein.