中国科学院自动化所发布类脑脉冲大模型“瞬悉1.0”：开启内生复杂性智能新纪元

中国科学院自动化研究所李国齐、徐波团队联合沐曦MetaX，成功研发出基于内生复杂性理论的类脑脉冲大模型“瞬悉1.0”（SpikingBrain-1.0），并在国产千卡GPU算力平台（沐曦MetaX曦云C550）上完成全流程训练与推理。该成果标志着我国首次在国产硬件上实现大规模类脑脉冲大模型的构建，为非Transformer架构的大模型发展提供了全新技术路径。 当前主流大模型基于Transformer架构，依赖“外生复杂性”实现智能，即通过堆叠参数、数据和算力提升性能。但其存在训练复杂度随序列长度平方增长、推理显存线性上升等瓶颈，难以高效处理超长序列任务。为此，研究团队提出“内生复杂性”新范式，借鉴大脑神经元内部复杂动力学机制，构建脉冲神经元模型，并首次建立脉冲神经元内生动力学与线性注意力机制之间的理论联系，揭示线性注意力是树突计算的简化形式，为模型性能提升开辟新路径。 “瞬悉1.0”包括SpikingBrain-1.0-7B（线性复杂度）和SpikingBrain-1.0-76B（混合线性复杂度，激活参数12B）两个版本，具备多项突破性性能： 一是训练效率显著提升，训练复杂度呈线性或近线性，仅需主流模型约2%的预训练数据量，即可在多任务语言理解（MMLU、CMMLU、Ceval）、常识推理（ARC、HS）等任务上达到相当水平； 二是推理效率实现数量级飞跃，利用脉冲神经元事件驱动特性，推理复杂度接近常数，7B模型在100万Token长度下生成首Token时间（TTFT）比Transformer快26.5倍，400万Token下提速超100倍；在手机CPU端64k至256k序列长度下，解码速度较Llama3.2同规模模型提升4.04倍至15.39倍； 三是构建了国产自主可控生态，开发了适配国产GPU的高效训练推理框架、Triton算子库、模型并行策略与集群通信原语，验证了非Transformer架构在国产算力平台上的可行性； 四是提出基于动态阈值的多尺度稀疏机制，结合混合专家（MoE）方案，在7B模型上实现超69%稀疏度，长序列脉冲占比仅1.85%，显著降低功耗。 该模型在法律、医学文档分析、分子动力学、DNA序列建模等超长序列任务中具有巨大应用潜力。研究团队已开源SpikingBrain-1.0-7B模型，并开放76B版本测试入口，同步发布中英文技术报告与代码，推动新一代人工智能向低功耗、高效率、类脑化方向发展。