网易首页 > 网易号 > 正文 申请入驻

我国首个:类脑脉冲大模型“瞬悉 1.0”问世

0
分享至

IT之家 9 月 8 日消息,中国科学院自动化研究所今日官宣,该所李国齐、徐波团队在发表原创内生复杂性理论系列论文的工作基础上,与沐曦 MetaX 合作,打造了类脑脉冲大模型“瞬悉 1.0”(SpikingBrain-1.0),在国产千卡 GPU 算力平台上完成全流程训练和推理,实现了大模型在超长序列推理上数量级的效率和速度提升,展示了构建国产自主可控的新型非 Transformer 大模型架构生态的可行性。

研究团队开源了 SpikingBrain-1.0-7B 模型并开放 SpikingBrain-1.0-76B 测试网址,同步公开了经工业界大规模验证的类脑脉冲大模型 SpikingBrain-1.0 中英文技术报告。

当前,基于 Transformer 架构的大模型在 Scaling law 驱动下,通过增加网络规模、算力资源和数据量提升模型智能水平,但模型的基本计算单元为简单的点神经元模型,我们将此路径称为“基于外生复杂性”的通用智能实现方法。Transformer 架构的固有缺点训练时开销随序列长度呈平方级增长以及推理时显存占用也随序列长度线性增加,构成了资源消耗的主要瓶颈,导致其处理超长序列的能力受限。

研发团队借鉴大脑神经元内部复杂工作机制提出“基于内生复杂性”的大模型构架方式,打造类脑脉冲大模型“瞬悉 1.0”( SpikingBrain-1.0),在理论上建立了脉冲神经元内生动力学与线性注意力模型之间的联系,揭示了现有线性注意力机制是树突计算的特殊简化形式,从而清晰地展示了一条不断提升模型复杂度和性能的新型可行路径。

研发团队进而构建并开源了基于脉冲神经元、具有线性(SpikingBrain-1.0-7B)及混合线性复杂度(SpikingBrain-1.0-76B,激活参数量 12B)的新型类脑基础模型,开发了面向国产 GPU(沐曦 MetaX 曦云 C550)集群高效训练和推理框架、Triton 算子库、模型并行策略以及集群通信原语。

SpikingBrain-1.0 在多个核心性能上实现突破:

  • 第一,极低数据量上的高效训练:训练阶段具有线性或近线性复杂度,显著提升长序列训练效率,并能依托高效转换训练范式,以约为主流大模型 2% 的预训练数据量实现与众多开源 Transformer 模型在多任务语言理解(MMLU), 中文多任务语言理解(CMMLU、Ceval), 常识推理能力(ARC、HS)任务上相媲美的性能。
  • 第二,推理效率的数量级提升:推理阶段结合脉冲神经元事件驱动特性,SpikingBrain 具有常数或部分层常数级别的复杂度和存储开销,SpikingBrain-7B 模型在 100 万 Token 长度下 TTFT(生成第一个 Token 所需时间)相比 Transformer 架构加速达到 26.5 倍,400 万 Token 长度下加速超过 100 倍。同时在手机 CPU 端 64k-128k-256k 长度下较 Llama3.2 的同规模模型 Decoding 速度提升 4.04x-7.52x-15.39x,在超长序列处理能力上展现出数量级的效率和速度提升。
  • 第三,国产自主可控类脑大模型生态的构建:SpikingBrain 适配了面向国产 GPU 集群的高效训练和推理框架、Triton 算子库、模型并行策略以及集群通信原语,表明了构建国产自主可控的新型非 Transformer 大模型架构生态的可行性。
  • 第四,基于动态阈值脉冲化的多尺度稀疏机制:设计细粒度的两阶段动态阈值脉冲化策略,结合粗粒度的混合专家模型(MoE)方案,在 7B 模型上实现了超过 69.15% 的稀疏度,长序脉冲占比约 1.85%,为低功耗的类脑大模型运行提供有力支撑。

中国科学院自动化研究所表示,这是我国首次提出大规模类脑线性基础模型架构、并首次在国产 GPU 算力集群上构建类脑脉冲大模型的训练和推理框架。提出的模型解决了脉冲驱动限制下的大规模类脑模型性能退化问题,其超长序列处理能力在法律 / 医学文档分析、复杂多智能体模拟、高能粒子物理实验、DNA 序列分析、分子动力学轨迹等超长序列任务建模场景中具有显著的潜在效率优势。本次发布的大模型为新一代人工智能发展提供了非 Transformer 架构的新技术路线,并将启迪更低功耗的下一代神经形态计算理论和芯片设计。

IT之家附 SpikingBrain-1.0-7B 开源地址:

试用网站:

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
快讯!黄仁勋打破沉寂:如果董事会认可,我将很荣幸回归担任CEO

快讯!黄仁勋打破沉寂:如果董事会认可,我将很荣幸回归担任CEO

瓦砾村夫
2026-11-18 01:01:37
比亚迪王传福:外界有一些误会,中国制造不是抢饭碗

比亚迪王传福:外界有一些误会,中国制造不是抢饭碗

极目新闻
2026-11-17 18:03:37
APEC会议近700辆红旗车全流程接待,“豪华车队”亮相深圳,网友感慨:简直是一支“外交跑腿天团”

APEC会议近700辆红旗车全流程接待,“豪华车队”亮相深圳,网友感慨:简直是一支“外交跑腿天团”

极目新闻
2026-11-18 10:24:16
联盟第一!湖人加时逆转黄蜂9连胜 东契奇36分格莱姆斯47+10三分

联盟第一!湖人加时逆转黄蜂9连胜 东契奇36分格莱姆斯47+10三分

醉卧浮生
2026-11-18 15:02:34
六旬男子约按摩女发生关系,十分满意付了2000元,谁知女子扭头就把他告了

六旬男子约按摩女发生关系,十分满意付了2000元,谁知女子扭头就把他告了

江山挥笔
2026-11-18 14:13:58
普京到访深圳北理莫斯科大学

普京到访深圳北理莫斯科大学

极目新闻
2026-11-18 15:53:16
突发!黄仁勋黄乐最新消息曝光,大开眼界!

突发!黄仁勋黄乐最新消息曝光,大开眼界!

财经要参
2026-11-18 12:00:05
谁都没想到,APEC大佬云集的会场,最扎眼的竟是董明珠的一个动作

谁都没想到,APEC大佬云集的会场,最扎眼的竟是董明珠的一个动作

不写散文诗
2026-11-18 13:55:13
反华五年终于到头!立陶宛会谈结束后,中方终于点头,同意沟通

反华五年终于到头!立陶宛会谈结束后,中方终于点头,同意沟通

共工之锚
2026-11-18 11:11:27
杨瀚森翻译:别管杨瀚森在哪个队,只要好好提升就好;诺里是敞亮人

杨瀚森翻译:别管杨瀚森在哪个队,只要好好提升就好;诺里是敞亮人

懂球帝
2026-11-18 15:54:10
黄仁勋35岁女儿被曝是“尖叫公主”,已致12名高管辞职,虎父无犬女引发争议

黄仁勋35岁女儿被曝是“尖叫公主”,已致12名高管辞职,虎父无犬女引发争议

译言
2026-11-18 07:30:17
蔚来向公安机关报案

蔚来向公安机关报案

极目新闻
2026-11-17 14:00:24
中俄美元首首次三方"面谈" 深圳迎来历史性会晤

中俄美元首首次三方"面谈" 深圳迎来历史性会晤

看看新闻Knews
2026-11-17 23:12:04
7-0!阿根廷迎后梅西时代首胜 3人双响 小蜘蛛2场3球 8000万红星闪耀

7-0!阿根廷迎后梅西时代首胜 3人双响 小蜘蛛2场3球 8000万红星闪耀

我爱英超
2026-11-18 08:58:01
国家统计局发布2026年10月份分年龄组失业率数据

国家统计局发布2026年10月份分年龄组失业率数据

界面新闻
2026-11-18 14:03:03
“深圳人全妆出街迎APEC”,冲上热搜

“深圳人全妆出街迎APEC”,冲上热搜

极目新闻
2026-11-18 10:22:19
湖人9连胜!新援格莱姆斯轰47分创多项神迹:比肩科比+超东契奇

湖人9连胜!新援格莱姆斯轰47分创多项神迹:比肩科比+超东契奇

Emily说个球
2026-11-18 15:08:35
加纳政党代表:社会主义、共产主义思潮正在全球复苏,中国人民正引领这一进程

加纳政党代表:社会主义、共产主义思潮正在全球复苏,中国人民正引领这一进程

极目新闻
2026-11-18 14:20:01
“立肛高见”又一次让国产大模型瑟瑟发抖

“立肛高见”又一次让国产大模型瑟瑟发抖

问道求真
2026-11-18 07:08:33
深圳APEC领导人会议今日开幕,你必须知道的10件事

深圳APEC领导人会议今日开幕,你必须知道的10件事

刘润
2026-11-18 08:07:50
2026-11-18 18:07:00
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
380010文章数 607741关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

特朗普抵达深圳出席APEC会议 年内第二次访华

头条要闻

特朗普抵达深圳出席APEC会议 年内第二次访华

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

认亲被嘲讽后郭德纲委托律师发声明

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

家居
游戏
教育
数码
公开课

家居要闻

2026建博会(广州) 公装联探展交流活动

《八部宽的个人主页》开放愿望单,计划2027年春季发售

教育要闻

数学到底应不应该超前学呢?值得探讨

数码要闻

双十二SSD推荐:换下来的旧盘,数据怎么搬过去

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版