HyperAIHyperAI

Command Palette

Search for a command to run...

仿脑新突破:神经形态脉冲大语言模型提升能效与可解释性——中科院自动化所引领AI未来

中国科学院自动化研究所李国齐、徐波团队在《National Science Review》发表题为《Neuromorphic Spike-based Large Language Model》的论文,提出神经形态脉冲大语言模型(NSLLM),通过借鉴人脑高效能、低功耗与可解释的信息处理机制,显著提升大语言模型(LLMs)的能效与透明度。该研究由中科院自动化所、天桥脑科学研究院尖峰智能实验室、北京智源人工智能研究院、清华大学、北京大学、加利福尼亚大学、悉尼大学、香港理工大学、超威半导体公司、陆兮科技、中国科学院大学、宁波大学等多家国内外机构联合完成。 当前主流LLMs虽推动人工通用智能发展,但面临高能耗、高内存占用及决策过程不透明等瓶颈。相比之下,人脑仅耗能约20瓦即可完成复杂认知任务。为此,研究团队构建跨学科统一框架,将传统LLMs转化为基于脉冲神经网络的NSLLM,引入“整数训练、二值推理”范式,实现模型输出向脉冲信号的转换,从而支持神经动力学分析,增强可解释性。 在硬件层面,团队基于FPGA平台设计了十亿参数级无矩阵乘法(MatMul-Free)架构,通过逐层量化与灵敏度评估优化混合时间步脉冲模型,在低比特下保持高性能。结合量化辅助稀疏策略,有效降低脉冲发放率,显著提升效率。最终在VCK190 FPGA上实现动态功耗仅13.849W,吞吐量达161.8 token/s,相较A800 GPU,能效、内存利用率和推理吞吐量分别提升19.8倍、21.3倍和2.2倍。 在可解释性方面,NSLLM将模型行为映射为神经动力学过程,利用Kolmogorov-Sinai熵、Shannon熵与互信息等指标分析神经元动态。实验表明,模型在处理含歧义文本时表现出更高归一化互信息与特定层动态特征,揭示了中间层与输出层在信息编码与传递中的分工机制,为理解大模型内部运作提供生物学可解释路径。 该研究不仅为高效、可解释AI发展开辟新路径,也为下一代神经形态芯片设计提供关键技术支撑。NSLLM在常识推理、阅读理解、数学推理等任务中表现媲美主流模型,兼具高性能与低功耗优势,标志着AI向类脑计算迈出关键一步。

相关链接