视网膜：基于事件相机和脉冲硬件的低功耗眼动追踪

本文介绍了一种用于眼动追踪的神经形态方法，该方法利用动态视觉传感器（Dynamic Vision Sensor, DVS）相机捕获的纯事件数据。该框架集成了一个直接训练的脉冲神经网络（Spiking Neuron Network, SNN）回归模型，并借助了最先进的低功耗边缘神经形态处理器——Speck，共同致力于提高眼动追踪系统的精度和效率。首先，我们介绍了一个代表性事件驱动的眼动追踪数据集“Ini-30”，该数据集由三十名志愿者佩戴的两个安装在眼镜上的DVS相机收集。接着，描述了一个基于积分-发放（Integrate And Fire, IAF）神经元的SNN模型，命名为“Retina”，该模型仅包含64k参数（比最新模型减少了6.63倍），并在64x64的DVS输入下实现了3.24像素的瞳孔追踪误差。通过在一维非脉冲时间滤波器滑过输出脉冲层的方式进行卷积，从而获得连续回归输出。最后，我们在神经形态处理器上评估了Retina模型，结果显示其端到端功耗在2.89-4.8毫瓦之间，延迟为5.57-8.01毫秒，具体取决于时间窗口。我们还将其与最新的事件驱动眼动追踪方法“3ET”进行了基准测试，“3ET”是基于事件帧构建的。结果表明，Retina在瞳孔质心误差方面比“3ET”低1.24像素，并且计算复杂度降低了35倍，MAC操作次数显著减少。我们希望这项工作能够为闭环神经形态解决方案以及追求边缘性能的真实事件驱动训练开辟新的研究途径。