通过活动稀疏性和稀疏时间反向传播实现高效的循环架构

循环神经网络（RNNs）因其表达能力和较低的计算需求而非常适合在资源受限系统中解决序列任务。然而，仍需弥合RNN在效率和性能方面的能力与实际应用需求之间的差距。每个时间步长将所有神经元的激活传播到每个连接的神经元，以及激活的顺序依赖性，导致了训练和使用RNN时的低效问题。我们提出了一种受生物神经元动力学启发的解决方案，使RNN单元之间的通信变得稀疏且离散。这使得通过时间反向传播（BPTT）的反向传递在计算上也变得稀疏且高效。我们的模型基于门控循环单元（GRU），并扩展了触发事件通信的单元，这些单元在没有事件的情况下不会向其他单元传递信息。理论上，我们证明了单元之间的通信以及前向和反向传递所需的计算量随网络中的事件数量而变化。我们的模型在不牺牲任务性能的前提下实现了高效性，在包括语言建模在内的实际任务中表现出与最先进的循环网络模型相当的竞争性能。动态活动稀疏机制还使我们的模型特别适合用于新型节能型神经形态硬件。代码可在https://github.com/KhaleelKhan/EvNN/ 获取。