15 天前

基于自适应脉冲递归神经网络的精确高效时域分类

Bojian Yin, Federico Corradi, Sander M. Bohte
基于自适应脉冲递归神经网络的精确高效时域分类
摘要

受生物神经元更精细建模的启发,脉冲神经网络(Spiking Neural Networks, SNNs)作为更具生物合理性的神经计算模型,同时具备实现生物神经元能量效率的潜力,近年来受到广泛关注。然而,与经典人工神经网络(ANNs)相比,SNNs的性能长期表现不足。本文中,我们展示了一种新型代理梯度(surrogate gradient)方法,结合可调谐且自适应的循环脉冲神经元网络,在时间域内的挑战性基准任务(如语音识别与手势识别)上实现了SNNs的当前最优性能。该方法不仅超越了标准的古典循环神经网络(RNNs),且接近现代最优ANNs的性能水平。由于这些SNNs具有稀疏脉冲特性,我们理论分析表明,其计算效率相较于性能相当的RNNs可提升一至三个数量级。综上所述,SNNs展现出在人工智能硬件实现中极具吸引力的应用前景。

基于自适应脉冲递归神经网络的精确高效时域分类 | 最新论文 | HyperAI超神经