一句话总结

德累斯顿工业大学与人机交互触觉互联网中心的研究人员提出了一种用于神经假肢运动控制的基于事件的门控循环单元，该单元可生成分级脉冲以实现稀疏通信，在任务性能上超越经典脉冲神经网络，并通过专门的训练方法和稀疏推理实现高效的设备端神经解码。

核心贡献

• 将基于事件的门控循环单元（EGRU）集成到用于闭环神经解码的强化学习中，在基准任务中实现了平均到达目标时间低于一秒，表明事件驱动的循环架构能够学习有效的控制策略。
• 一个包含两个EGRU单元（2K参数）的紧凑解码器，以低于同等规模LSTM的计算成本实现了高任务性能，提供了良好的精度与效率权衡。
• 在真实的信号丢失和调谐漂移扰动下进行训练和评估，结果表明在高达约80%的探针修改情况下仍能保持高成功率和稳定奖励，证实了对慢性神经信号退化的鲁棒性。

引言

皮层内脑机接口旨在通过将神经信号解码为控制命令来恢复瘫痪患者的运动能力，但在植入式设备中部署这些系统需要既高精度又极低资源消耗的算法。先前的基准测试侧重于开环精度，而实际的临床应用需要闭环、实时适应以及对慢性植入物（如电极失效和调谐漂移）导致的信号逐渐退化的鲁棒性。作者通过将基于事件的门控循环单元（EGRU）集成到用于闭环神经解码的强化学习框架中来应对这些挑战。该方法仅使用2个EGRU单元（约2K参数）即可实现快速、稳定的光标控制，并展示了对严重扰动的适应能力，为低功耗、设备端神经假肢提供了一条有前景的路径。

方法

作者利用基于事件的门控循环单元（EGRU）来满足现代假肢解码和机器人技术对低功耗、事件驱动计算的需求。虽然像LSTM这样的传统循环神经网络（RNN）为序列任务提供记忆能力，而脉冲神经网络（SNN）提供稀疏、异步的通信，但深度SNN在精度上往往落后。EGRU架构通过提供GRU级别的表达能力，同时像脉冲神经元一样进行稀疏通信，弥补了这一差距。因此，计算成本随活动量变化；如果只有部分$\alpha$α的单元发放，则只需要$\alpha$α倍的乘加（MAC）操作。这使得解码器能够在低功耗硬件上运行，并显著减少有效MAC操作。

模型架构

所提出的架构处理输入脉冲以产生速度命令。如下方框架图所示，该流程始于一个初始线性层，将输入脉冲投影到4维特征空间。随后是一个处理序列数据的EGRU层。

EGRU由$n$n个神经元组成，具有输出$y$y和状态$h$h。稀疏输出$\mathbf{y} = (y_1, \ldots, y_n)$y=(y1​,…,yn​)通过阈值机制从GRU单元状态$\mathbf{h} = (h_1, \ldots, h_n)$h=(h1​,…,hn​)生成。这些“分级脉冲”可以取高于阈值的任何浮点值。稀疏输出$y$y作为循环输入反馈到模型中，而隐藏状态$h$h代表每个单元的内部状态，不在单元之间传递。最后，EGRU输出通过一个线性头，在每个时间步产生最终的二维速度。为了进行基准测试，作者使用$n=2$n=2，从而得到一个紧凑的层配置96-4-2-2，参数规模仅为2K。

训练策略

为了有效地训练神经解码器，作者采用了两阶段学习策略，包括开环预训练和随后的闭环强化学习（RL）。

开环预训练 在初始阶段，使用从环境中采样的大量随机生成轨迹数据集来初始化模型。这些合成数据模拟随机的agent运动，以确保广泛覆盖状态和动作空间。此预训练作为RL之前的探索阶段，并能够使用EGRU实现提供的高效CUDA内核。作者使用长度为4个时间步的轨迹，因为更长的轨迹没有带来额外的好处。该策略提供了一个稳健的初始化，有助于在后续特定任务训练中更快地收敛。

闭环强化学习 在RL阶段，EGRU模型直接与环境交互。在每个回合中，agent接收当前神经状态并输出速度命令。动作从以模型预测为中心的高斯分布中采样，标准差由探索参数$\epsilon$ϵ控制。这促进了早期探索，并随着$\epsilon$ϵ衰减逐渐转向利用。环境返回下一个状态、一个整形奖励和一个终止信号。agent累积奖励，并在每个回合后通过平均奖励的梯度上升更新其参数。值得注意的是，隐藏状态不在时间步之间重置，仅在回合开始时重置。

奖励函数

奖励函数旨在为连续控制任务中到达目标提供平滑、可微的信号。它计算agent当前位置与目标之间的欧几里得距离，使用sigmoid函数软性地指示目标达成。总奖励包含三个部分：当agent最终靠近目标时增加的完成奖励、快速到达目标的时间奖励，以及阻止远离目标的距离惩罚。这种设计在鼓励精度和效率的同时，避免了奖励景观中的突变。

鲁棒性与扰动

为了评估在退化记录条件下的鲁棒性，作者引入了受控扰动。可配置比例的合成神经元要么被静默，要么通过重新采样偏好方向和发放率来重新分配其调谐特性。这些扰动在训练期间应用，受影响的神经元每个周期重新采样，以防止依赖固定模式并鼓励泛化。下图说明了这些组合挑战的影响，展示了解码器在不同扰动探针比例下的性能。

结果表明，即使在严重的扰动水平下，模型也能保持高成功率和稳定奖励，证实了其对慢性信号退化的适应能力。

实验

评估分为两个赛道：赛道1测量随机目标下的控制性能，而赛道2测试对通道静默和分布偏移的鲁棒性。经过开环预训练和闭环强化学习的两阶段训练过程后，EGRU解码器在赛道1中实现了快速、可靠的目标获取，并在赛道2中即使在严重扰动下也能保持高成功率。与LSTM基线相比，EGRU以显著较低的计算需求提供了相当的精度，使其非常适合高效、低功耗的神经接口。

在50%分布偏移和40%信号丢失的组合扰动下，EGRU解码器在所有神经元模型中均保持了100%的成功率，平均到达目标时间保持在一秒以内。激活稀疏性变化不大，而占用空间和连接稀疏性始终保持最小，有效乘加操作保持在几千次。与密集LSTM相比，稀疏EGRU以显著较低的计算成本实现了相似的控制精度。尽管同时存在分布偏移和信号丢失，所有神经元模型均达到100%的成功率。每个测试的神经元模型的平均到达目标时间均低于0.95秒。激活稀疏性最高达到0.041，有助于实现事件驱动的计算节省。有效乘加操作约为4000次，而密集突触操作大约是其九倍。EGRU解码器所需的操作显著少于LSTM，而仅牺牲了微小的速度差异。

EGRU解码器利用激活稀疏性来减少相对于可比LSTM的有效乘加操作。虽然LSTM到达目标稍快，但由于其密集激活，需要更多计算。两种模型均达到完美的成功率，但EGRU提供了更硬件高效的权衡。EGRU表现出8–9%的激活稀疏性，而LSTM激活是完全密集的。在相同的隐藏维度下，EGRU始终使用比LSTM更少的有效MAC，在维度为4时减少了20%。LSTM平均快0.05–0.08秒到达目标，但计算成本更高。在相同的评估条件下，两种解码器均保持100%的成功率。

实验评估了EGRU解码器在组合分布偏移和信号丢失下的表现，以及与密集LSTM的直接比较。EGRU在所有条件下均保持100%的成功率，同时利用激活稀疏性，在相同隐藏维度下，相比LSTM将有效乘加操作减少了多达20%。尽管LSTM到达目标稍快，但EGRU提供了更硬件高效的权衡，对控制精度的影响极小。