表达性漏忆神经元：一种高效且富有表现力的表征神经元模型，可解决长时程任务

生物皮层神经元是极为复杂的计算装置，能够在其复杂的树突树结构上对海量的突触输入进行时间上的整合，并受到一系列复杂、非线性相互作用的内在生物过程的调控。近期一项研究尝试通过拟合高精度的代理模型，以复现详细生物物理模型中皮层锥体神经元的输入-输出关系，结果发现需要采用包含数百万参数的时间卷积网络（TCN）才能实现。然而，如此庞大的参数量可能源于TCN的归纳偏置与皮层神经元计算特性之间的不匹配。针对这一问题，并为进一步探究漏电记忆单元与非线性树突处理的计算意义，本文提出了一种受生物学启发的表征性神经元模型——表达性漏电记忆神经元（Expressive Leaky Memory, ELM）。该模型通过利用缓慢衰减的记忆型隐状态以及两层非线性突触输入整合机制，仅用不到一万参数即可精确复现前述输入-输出关系，展现出极强的表达能力。为进一步评估该神经元模型的计算潜力，我们在多个具有复杂时间结构的任务上对其性能进行了评估，包括长程任务基准测试集（Long Range Arena, LRA）以及基于脉冲海德堡数字数据集（Spiking Heidelberg Digits, SHD）构建的新颖类脑神经形态数据集（SHD-Adding）。实验结果表明，通过引入更多具有足够长时间尺度的记忆单元，并实现相应复杂的突触整合机制，ELM神经元展现出显著的长程信息处理能力，在LRA基准测试中可靠地超越经典Transformer与Chrono-LSTM架构；尤其在路径规划-X任务（Pathfinder-X）中，其在16,000上下文长度下实现了超过70%的准确率，充分体现了其在处理超长依赖关系方面的优势。