基于时间注意力机制的脉冲神经网络用于事件流分类

如何高效、有效地处理时空事件流（spatio-temporal event streams），其中事件通常稀疏且分布不均，并具有微秒级的时间分辨率，具有重要价值，并在诸多实际应用场景中展现出广阔前景。脉冲神经网络（Spiking Neural Network, SNN）作为一类受大脑启发的事件触发式计算模型，具备从事件流中提取有效时空特征的潜力。然而，现有SNN模型在将单个事件聚合为具有更高时间分辨率的新帧时，未能充分考虑由于事件流稀疏性和非均匀性所导致的连续帧之间信噪比（Signal-to-Noise Ratio, SNR）差异的问题，这一缺陷严重影响了现有SNN模型的性能表现。针对上述问题，本文提出一种基于时间维度注意力机制的脉冲神经网络模型（Temporal-wise Attention SNN, TA-SNN），用于学习基于帧的表示以实现对事件流的有效处理。具体而言，我们在训练阶段将注意力机制扩展至时间维度输入，用于评估各帧对最终决策的重要性；在推理阶段则自动舍弃无关紧要的帧，从而提升模型效率与准确性。实验结果表明，TA-SNN模型显著提升了事件流分类任务的分类精度。此外，我们进一步研究了多尺度时间分辨率对基于帧表示的影响。所提方法在三个不同分类任务上进行了验证：手势识别、图像分类与语音数字识别。实验结果表明，该方法在各项任务上均取得了当前最优（state-of-the-art）性能，尤其在手势识别任务中，仅使用60毫秒的输入时长，即实现了接近19%的准确率显著提升，充分验证了模型的有效性与优越性。