HyperAIHyperAI

Command Palette

Search for a command to run...

Spiking-Diffusion: Vektorquantisierter diskreter Diffusionsmodell mit spikingen neuronalen Netzen

Mingxuan Liu Jie Gan Rui Wen Tao Li Yongli Chen Hong Chen

Zusammenfassung

Spiking Neural Networks (SNNs) besitzen ein erhebliches Potenzial für energiesparende neuromorphe Chips dank ihrer binären und ereignisgesteuerten Architektur. Obwohl SNNs vorwiegend für Klassifizierungsaufgaben eingesetzt wurden, blieb ihre Anwendung bei Bildgenerierungsaufgaben bisher stark begrenzt. Um diese Lücke zu schließen, stellen wir ein Spiking-Diffusion-Modell vor, das auf dem vektorquantisierten diskreten Diffusionsmodell basiert. Zunächst entwickeln wir einen vektorquantisierten variationalen Autoencoder mit SNNs (VQ-SVAE), um einen diskreten Latentraum für Bilder zu lernen. In VQ-SVAE werden Bildmerkmale sowohl anhand der Spikespitzenrate als auch der postsynaptischen Potentiale kodiert, und ein adaptiver Spikesgenerator wird entworfen, um die Embedding-Merkmale in Form von Spiketrain-Strömen wiederherzustellen. Anschließend führen wir eine Diffusion im absorbierenden Zustand im diskreten Latentraum durch und konstruieren einen spikingen Diffusions-Bilddecoder (SDID) mit SNNs, um das Bild von Rauschen zu befreien. Unser Ansatz ist der erste, der ein vollständig aus SNN-Schichten bestehendes Diffusionsmodell aufbaut. Experimentelle Ergebnisse auf den Datensätzen MNIST, FMNIST, KMNIST, Letters und CIFAR10 zeigen, dass Spiking-Diffusion das bestehende SNN-basierte Generativmodell übertrifft. Wir erreichen FID-Werte von 37,50, 91,98, 59,23, 67,41 und 120,5 auf den jeweiligen Datensätzen, wobei sich die FID-Werte im Vergleich zur State-of-the-Art-Methode um 58,60 %, 18,75 %, 64,51 %, 29,75 % und 44,88 % verringern. Der Quellcode wird unter \url{https://github.com/Arktis2022/Spiking-Diffusion} verfügbar sein.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp