摘要
脉冲神经网络（Spiking Neural Networks, SNNs）因其二值化与事件驱动的架构，在实现能效高效的类脑芯片方面具有巨大潜力。尽管SNNs在分类任务中已得到广泛应用，但在图像生成任务中的探索仍较为有限。为填补这一空白，本文提出一种基于向量量化离散扩散模型的脉冲扩散模型（Spiking-Diffusion）。首先，我们构建了一种基于SNN的向量量化变分自编码器（VQ-SVAE），用于学习图像的离散潜在表示。在VQ-SVAE中，图像特征通过脉冲发放率与突触后电位共同编码，并设计了一种自适应脉冲生成器，以脉冲序列的形式恢复嵌入特征。随后，我们在离散潜在空间中执行吸收态扩散过程，并利用SNN构建脉冲扩散图像解码器（Spiking Diffusion Image Decoder, SDID），实现图像去噪。本工作首次完全基于SNN层构建了扩散模型。在MNIST、FMNIST、KMNIST、Letters和Cifar10数据集上的实验结果表明，Spiking-Diffusion显著优于现有的基于SNN的生成模型。在上述数据集上，我们分别取得了37.50、91.98、59.23、67.41和120.5的FID值，相较于当前最优方法，FID分别降低了58.60%、18.75%、64.51%、29.75%和44.88%。相关代码将开源，地址为：\url{https://github.com/Arktis2022/Spiking-Diffusion}。