网易首页 > 网易号 > 正文 申请入驻

通用、高效、自动化的脉冲神经网络在线学习系统 [含代码]

0
分享至

寒假提升计划

看了这么多顶刊文献,想要进行数据分析的心是不是蠢蠢欲动了?寒假期间 PsyBrain 脑心前沿团队会带来一些数据分析流程的讲解,配合示例数据和代码,带你跑通复杂的顶刊分析流程,欢迎大家关注~

如果你有感兴趣的、想学习的分析方法,欢迎给我们留言~

基本信息

Title:Model-agnostic linear-memory online learning in spiking neural networks

发表时间:2026.1.19

Journal:Nature Communications

影响因子:15.7

获取原文:

  1. 添加小助手:PSY-Brain-Frontier即可获取PDF版本
  2. 点击页面底部“”即可跳转论文原网页

2026年1月19日,北京大学吴思教授广东省智能科学与技术研究院王超名团队在国际知名学术期刊Nature Communications在线发表题为"Model-agnostic linear-memory online learning in spiking neural networks"的研究论文。该研究首次实现了模型无关、线性内存、全自动编译的脉冲神经网络(Spiking Neural Networks, SNN)在线学习系统,并成功完成包含12.5万神经元、5000万突触连接的果蝇全脑网络训练,为大尺度脑仿真建模提供了关键技术支撑。



研究背景

过去几年,脉冲神经网络(SNN)在脑仿真、神经形态视觉、脑启发决策等方向持续升温,但一个核心难题始终没有被彻底解决:能不能像训练普通深度网络一样,稳定、可复现地训练更大、更复杂、更长序列的 SNN?

然而现实是,SNN训练长期卡在三道关:

  • 长序列的“内存墙”:
  • 离线训练(如 BPTT)需要保存完整时间展开的中间状态,序列越长,显存/内存越快爆炸,工程上很快不可用。
  • 在线方法“能用但难扩”:
  • 不少在线学习虽然不存全序列,但要维护大量 eligibility 变量,内存/计算依然很高,或对模型结构限制很强。
  • 从推导到实现的“断层”:
  • 理论上可行的在线算法,落地往往需要手写推导、手工管理复杂依赖,复现和迁移到新模型的成本极高。

在这个背景下,团队在 Nature Communications 发表工作,目标非常明确:把 SNN 在线学习从“能跑”推进到“通用、可扩、可复现、可自动化”。

研究核心总结

这项工作的关键突破可以概括为三句话:模型无关的抽象 + 线性内存的在线算法 + 开箱即用的自动化编译工具链。



1) 模型无关:AlignPre / AlignPost 统一抽象

BrainTrace的第一步不是"发明一个只适用于某类模型的技巧",而是提出统一抽象,把SNN动力学拆解为内禀动力学与神经元交互两部分,并用对齐机制组织pre/post相关状态,从而覆盖更广的神经元与突触形式。

BrainTrace提出了AlignPre和AlignPost两种建模原语。这一抽象涵盖了从简单LIF到复杂ALIF、GIF神经元,从Delta到指数突触、短时程可塑性等丰富动力学,真正实现了"写什么模型,就能训练什么模型"的愿景。

2)线性内存:pp-prop 把在线梯度压到 O(BN)

从经典在线梯度思想出发,逐步做结构化近似,最终得到pp-prop(pre-/post-synaptic eligibility propagation)。关键直觉来自SNN的"事件驱动"特性与活动稀疏性:

稀疏激活:生物神经元典型发放率仅0.2-5 Hz,使得隐藏雅可比矩阵可用对角矩阵近似(相似度>99%)

• 符号一致性:脉冲信号非负且二值,使得多个秩一矩阵之和可近似为单个秩一矩阵

基于这两个性质,将原本难以承受的梯度依赖,压缩成更轻量、可维护的pre/post痕迹,使在线训练的内存占用随神经元数量线性增长,并在长序列场景下保持稳定。

实验显示,pp-prop的内存效率比BPTT或现有在线学习算法高几十/上百倍(0.5GB vs 17.5GB),运行速度与BPTT相当甚至更快,但比D-RTRL至少快10倍。

3)开箱即用:自动化在线学习编译器

BrainTrace 还给出一套完整工具链:自动把用户定义的 SNN 模型转换为高效在线学习代码。它通过 Jaxpr 中间表示分析计算图,自动提取资格迹更新规则,并做共享迹复用、雅可比向量化等优化,最终基于 JAX/XLA实现跨平台部署(CPU/GPU/TPU)。这一步把“推导—实现—复现”的鸿沟直接填平。

研究总结

这项工作最重要的价值,不止是“更省显存”,而是证明了通用、线性内存、自动化的在线学习可以支撑真正的大规模脑网络训练。

1)神经形态分类基准测试

在N-MNIST、SHD、DVS Gesture三大基准数据集上,pp-prop表现与BPTT相当。特别是在SHD数据集上,pp-prop以95.33%的准确率超越所有在线学习基线超过10个百分点。



2)认知任务建模

论文构建了具有生物真实性的兴奋-抑制(E/I)脉冲网络,包含800个GIF神经元、电导型突触和稀疏连接。在证据累积任务中,网络展现出高度选择性的时序精确脉冲模式,与小鼠后顶叶皮层的神经活动高度吻合。

3)果蝇全脑网络训练

论文基于FlyWire连接组数据,构建了包含125,000+神经元、5,000万突触连接的果蝇全脑脉冲网络,并使用pp-prop成功拟合了17分钟的静息态钙成像数据。训练后模型不仅能高度一致地复现训练数据的激活模式,还能泛化到未见过的测试数据。整个训练仅需约8.9GB GPU内存,而BPTT需要接近1TB容量内存!



4) 关键意义

pp-prop揭示了脉冲神经网络相对于传统连续神经网络的独特优势:事件驱动的稀疏动力学天然支持线性复杂度的在线梯度近似,这是以往研究未能充分挖掘的重要性质。BrainTrace为SNN在线学习研究者提供了类似PyTorch的自动化工具链,大大降低了在线学习算法的使用门槛。研究者可专注于模型设计和科学探索,而非底层实现细节。随着大规模神经科学数据和全脑连接组的日益丰富,神经科学界亟需能够利用这些数据构建功能模型的工具。BrainTrace的果蝇全脑训练展示了这种能力,为构建"数字孪生大脑"铺平了道路。

此外,BrainTrace是团队正在构建的脑仿真生态系统(Brain Simulation Ecosystem)的核心组件之一。该生态系统致力于为计算神经科学研究者提供从建模、仿真到训练的全栈工具链,详见:https://brainmodeling.readthedocs.io

论文链接:https://doi.org/10.1038/s41467-026-68453-wIF: 15.7Q1

代码仓库:https://github.com/chaobrain/braintrace

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
白骨案受害者儿子再发声:我的人生被毁了!如今38岁的他还在租房

白骨案受害者儿子再发声:我的人生被毁了!如今38岁的他还在租房

丁丁鲤史纪
2026-01-29 09:37:39
前TVB男星曾向亡妻承诺终生不再娶,今公开交代与绯闻女友关系

前TVB男星曾向亡妻承诺终生不再娶,今公开交代与绯闻女友关系

TVB剧评社
2026-01-28 20:26:43
海王报销+申京脚踝扭伤!火箭引援中锋迫在眉睫 乌帅吐槽纪律不足

海王报销+申京脚踝扭伤!火箭引援中锋迫在眉睫 乌帅吐槽纪律不足

颜小白的篮球梦
2026-01-29 13:57:19
马卡:居莱尔被换下时非常愤怒,他向阿韦洛亚摊手表示不满

马卡:居莱尔被换下时非常愤怒,他向阿韦洛亚摊手表示不满

懂球帝
2026-01-29 08:37:27
农民把10头猪赶到无人岛,12年后再次登岛,眼前画面让他不敢信

农民把10头猪赶到无人岛,12年后再次登岛,眼前画面让他不敢信

白云故事
2026-01-22 17:30:05
难怪皇马跌入附加赛!阿韦洛亚重用1人葬送好局,姆巴佩痛批全队

难怪皇马跌入附加赛!阿韦洛亚重用1人葬送好局,姆巴佩痛批全队

球场没跑道
2026-01-29 09:42:42
还没撑过80天,高市早苗痛哭流涕,中俄防长联手释放重磅信号

还没撑过80天,高市早苗痛哭流涕,中俄防长联手释放重磅信号

梁讯
2026-01-28 19:30:22
新疆一校花太漂亮了,身高170五官精致,美得让人移不开眼

新疆一校花太漂亮了,身高170五官精致,美得让人移不开眼

TVB的四小花
2026-01-29 12:02:04
特朗普被曝“正考虑对伊朗发动新的重大打击”!伊高官:美若动武将打击特拉维夫的“心脏”!伊外长:手指已扣在扳机上

特朗普被曝“正考虑对伊朗发动新的重大打击”!伊高官:美若动武将打击特拉维夫的“心脏”!伊外长:手指已扣在扳机上

每日经济新闻
2026-01-29 14:19:27
越吃血管越通,大寒过后敞开吃!1降压,2降脂,3护心,错过可惜

越吃血管越通,大寒过后敞开吃!1降压,2降脂,3护心,错过可惜

江江食研社
2026-01-27 08:30:10
官方通报“3元加面纠纷”事件:商家行为涉嫌违反《价格法》

官方通报“3元加面纠纷”事件:商家行为涉嫌违反《价格法》

封面新闻
2026-01-28 19:55:02
快船消息:哈登无愧最强双能卫,拒绝3换1交易,战掘金出场更新

快船消息:哈登无愧最强双能卫,拒绝3换1交易,战掘金出场更新

冷月小风风
2026-01-29 12:08:26
秦志戬点名,陈梦迎大事,或官宣决定,国乒名单公布,球迷期待

秦志戬点名,陈梦迎大事,或官宣决定,国乒名单公布,球迷期待

江湖第一菜鸡
2026-01-29 08:04:25
需驾驶员监督的特斯拉FSD系统下月在中国获批?知情人士:消息不实

需驾驶员监督的特斯拉FSD系统下月在中国获批?知情人士:消息不实

第一财经资讯
2026-01-23 14:07:58
阿富汗的锅,拜登不背!

阿富汗的锅,拜登不背!

山河路口
2026-01-28 23:12:39
17战16胜,勇士找到赢球秘诀!一人力压库里成最佳 5大奇兵更该夸

17战16胜,勇士找到赢球秘诀!一人力压库里成最佳 5大奇兵更该夸

锅子篮球
2026-01-29 14:22:42
英国首相斯塔默:与中国接触符合国家利益

英国首相斯塔默:与中国接触符合国家利益

参考消息
2026-01-29 11:28:59
田朴珺喊大佬引群嘲!随口称呼没分寸,贵族学校老板修养太拉胯

田朴珺喊大佬引群嘲!随口称呼没分寸,贵族学校老板修养太拉胯

暖心萌阿菇凉
2026-01-28 21:38:44
朝鲜为库尔斯克阵亡士兵建国葬级纪念馆,1.4万远征军半数伤亡

朝鲜为库尔斯克阵亡士兵建国葬级纪念馆,1.4万远征军半数伤亡

老马拉车莫少装
2026-01-28 21:07:39
杨鸣直播谈离职:表现挣扎主教练必须担责!已有CBA初步接触!

杨鸣直播谈离职:表现挣扎主教练必须担责!已有CBA初步接触!

篮球资讯达人
2026-01-29 13:50:56
2026-01-29 14:52:49
PsyBrain脑心前沿
PsyBrain脑心前沿
追踪脑科学新动态,聚焦认知与神经新研究
145文章数 10关注度
往期回顾 全部

科技要闻

周亚辉的AI新赌局:国内太卷 出海另起炉灶

头条要闻

外媒:特朗普执政一年后 对华不友好国家正"转向"中国

头条要闻

外媒:特朗普执政一年后 对华不友好国家正"转向"中国

体育要闻

詹姆斯哭了!骑士视频致敬41岁超巨

娱乐要闻

张译不再隐瞒!公开回应退圈息影真相

财经要闻

金价狂飙,历史首次!

汽车要闻

车长超5米还带后轮转向 比亚迪海豹08/海狮08将亮相

态度原创

艺术
房产
时尚
手机
教育

艺术要闻

梵高全集(高清350张)震撼……

房产要闻

创历史新高!三亚楼市,太强了!

冬天大衣怎么穿才更好看?选好颜色、找对单品,高级简约又大气

手机要闻

消息称字节2025年底开启豆包手机助手正式版项目 新机预计2026年Q2中晚期发布

教育要闻

@2027研考生部分招生单位调整研考初试科目

无障碍浏览 进入关怀版