基于内生复杂性的类脑脉冲大模型"瞬悉1.0"问世

中国日报9月8日电（记者 李梦涵）近日，中国科学院自动化研究所李国齐、徐波团队在发表原创内生复杂性理论系列论文的工作基础上，与沐曦MetaX合作，打造了类脑脉冲大模型"瞬悉1.0"（SpikingBrain-1.0），在国产千卡GPU算力平台上完成全流程训练和推理，实现了大模型在超长序列推理上数量级的效率和速度提升，展示了构建国产自主可控的新型非Transformer大模型架构生态的可行性。研究团队开源了SpikingBrain-1.0-7B模型并开放SpikingBrain-1.0-76B测试网址，同步公开了经工业界大规模验证的类脑脉冲大模型SpikingBrain-1.0中英文技术报告。

当前，基于Transformer架构的大模型在Scaling law驱动下，通过增加网络规模、算力资源和数据量提升模型智能水平，但模型的基本计算单元为简单的点神经元模型，我们将此路径称为"基于外生复杂性"的通用智能实现方法。Transformer架构的固有缺点训练时开销随序列长度呈平方级增长以及推理时显存占用也随序列长度线性增加，构成了资源消耗的主要瓶颈，导致其处理超长序列的能力受限。

研发团队借鉴大脑神经元内部复杂工作机制提出"基于内生复杂性"的大模型构架方式，打造类脑脉冲大模型"瞬悉1.0"（ SpikingBrain-1.0），在理论上建立了脉冲神经元内生动力学与线性注意力模型之间的联系，揭示了现有线性注意力机制是树突计算的特殊简化形式，从而清晰地展示了一条不断提升模型复杂度和性能的新型可行路径。研发团队进而构建并开源了基于脉冲神经元、具有线性（SpikingBrain-1.0-7B）及混合线性复杂度（SpikingBrain-1.0-76B，激活参数量12B）的新型类脑基础模型，开发了面向国产GPU（沐曦MetaX曦云C550）集群高效训练和推理框架、Triton 算子库、模型并行策略以及集群通信原语。

SpikingBrain-1.0在多个核心性能上实现突破。第一，极低数据量上的高效训练：训练阶段具有线性或近线性复杂度，显著提升长序列训练效率，并能依托高效转换训练范式，以约为主流大模型2%的预训练数据量实现与众多开源Transformer模型在多任务语言理解（MMLU）,中文多任务语言理解（CMMLU、Ceval）, 常识推理能力（ARC、HS）任务上相媲美的性能。第二，推理效率的数量级提升：推理阶段结合脉冲神经元事件驱动特性，SpikingBrain具有常数或部分层常数级别的复杂度和存储开销，SpikingBrain-7B模型在100万Token长度下TTFT（生成第一个Token所需时间）相比Transformer架构加速达到26.5倍，400万Token长度下加速超过100倍。同时在手机CPU端64k-128k-256k长度下较Llama3.2的同规模模型Decoding速度提升4.04x-7.52x-15.39x，在超长序列处理能力上展现出数量级的效率和速度提升。第三，国产自主可控类脑大模型生态的构建：SpikingBrain适配了面向国产GPU集群的高效训练和推理框架、Triton算子库、模型并行策略以及集群通信原语，表明了构建国产自主可控的新型非Transformer大模型架构生态的可行性。第四，基于动态阈值脉冲化的多尺度稀疏机制：设计细粒度的两阶段动态阈值脉冲化策略，结合粗粒度的混合专家模型（MoE）方案，在7B模型上实现了超过69.15%的稀疏度，长序脉冲占比约1.85%，为低功耗的类脑大模型运行提供有力支撑。

这是我国首次提出大规模类脑线性基础模型架构、并首次在国产GPU算力集群上构建类脑脉冲大模型的训练和推理框架。提出的模型解决了脉冲驱动限制下的大规模类脑模型性能退化问题，其超长序列处理能力在法律/医学文档分析、复杂多智能体模拟、高能粒子物理实验、DNA序列分析、分子动力学轨迹等超长序列任务建模场景中具有显著的潜在效率优势。本次发布的大模型为新一代人工智能发展提供了非Transformer架构的新技术路线，并将启迪更低功耗的下一代神经形态计算理论和芯片设计。

来源：中国日报网