15 天前

用于语音命令识别的代理梯度脉冲基线

{Philip N. Garner, Alexandre Bittar}
用于语音命令识别的代理梯度脉冲基线
摘要

人工神经网络(ANNs)是近年来人工智能(AI)取得突破性进展的基础,其通常采用实值神经元响应。相比之下,生物神经元则以脉冲序列(spike trains)的方式进行工作。理论上,脉冲神经网络(SNNs)在表示能力上可能优于ANNs,尤其是在处理语音等时间序列数据方面。然而,SNNs的实际应用一直受限于缺乏稳定可靠的训练算法,以及缺乏与现有方法兼容的基准体系。本文首先对ANNs与SNNs融合领域的研究文献进行了较为全面的综述。聚焦于代理梯度(surrogate gradient)方法,我们提出了一种基于近期语音命令识别任务的简洁但具有实际意义的评估框架。通过对一系列代表性网络架构的系统评估,我们发现,通过引入适应性机制、循环结构以及代理梯度技术,可以构建出轻量级的脉冲神经网络架构。这些架构不仅在性能上能够与传统ANN解决方案相媲美,而且在现代深度学习框架中仍保持高度兼容性。结论表明,SNNs在人工智能的未来研究中具有重要应用前景,尤其适用于语音处理任务。更进一步地,我们推测SNNs或许还能为理解生物神经系统功能提供新的推理工具。

用于语音命令识别的代理梯度脉冲基线 | 最新论文 | HyperAI超神经