网易首页 > 网易号 > 正文 申请入驻

《Neuron》:大脑和Transformer,用的是同一套记忆系统?

0
分享至

机器学习工程师每天都在用键值记忆(Key-Value Memory)。

Transformer的自注意力机制、RAG检索系统、联想记忆网络,这些东西的底层设计逻辑,都是键值分离:用一套表征来寻址,用另一套表征来存内容。

但很少有人停下来问过:这套我们天天在写代码时调用的计算框架,会不会和人类大脑用的是同一套底层逻辑?

2025年6月,哈佛大学Samuel J. Gershman和麻省理工学院Ila Fiete等学者,在神经科学顶刊《Neuron》发表了一篇题为《Key-value memory in the brain》的论文。

这篇论文做了一件在两个领域都少见的事:它不是拿脑科学去"启发"AI设计,也不是拿AI架构去"比喻"大脑,而是用同一套数学框架,把两件事放在一起严格推导,证明它们本质上是同一个东西。

海马体是索引,新皮层是内容:一个被数学推导支撑的分工假说

论文的核心假说,说起来其实不难理解。

研究者提出:人类大脑的记忆系统,本质上实现了一套键值分离的架构。海马体负责编码用于寻址的键(Key),新皮层负责存储记忆内容的值(Value)。

这个分工不是一个新颖的比喻,而是有一长串神经生物学证据支撑的推论。海马体的CA3区通过稀疏编码形成高分辨率的记忆索引,CA1区执行模式补全,负责把部分线索补全为完整记忆,这与键值系统中"用Query检索Key、再提取对应Value"的机制高度吻合。新皮层则通过缓慢的权重更新来沉淀语义知识,对应的是值存储层的长期稳定性。

更有意思的是,论文对"遗忘"给出了一个全新的计算解释。

遗忘的本质,不是记忆内容被删除了,而是检索路径断裂了。

在键值框架里,这意味着:值(Value)本身可能还在,但对应的键(Key)已经无法被当前的查询向量精准匹配到。这个推论与神经科学里长期存在的争议高度吻合,很多研究显示,被"遗忘"的记忆有时可以通过特定线索被重新激活,说明内容并未消失,只是检索路径退化了。

这件事的含义不只停留在学术层面。如果遗忘是检索失效而非存储丢失,那么干预记忆障碍的方向,就不只是"怎么保住记忆内容",还应该包括"怎么维护检索键的稳定性"。

全连接神经网络,天生就是一个键值记忆系统

论文里有一个推导,让很多读过的机器学习工程师感到意外。

研究者证明,最基础的全连接神经网络(多层感知机,MLP),本质上就是一个天然的键值记忆系统。

推导逻辑是这样的:MLP的第一层权重矩阵可以被理解为键矩阵,激活函数决定了查询向量与键的匹配方式,第二层权重矩阵则对应值矩阵,输出是对所有值的加权组合。

这个对应关系不是强行类比,而是可以用线性代数精确表达的等价关系。

它意味着,Transformer里的注意力机制,和MLP里的前馈网络,从记忆系统的角度来看,其实在做同一件事,只是查询机制的设计不同。

这个发现有一个重要的延伸含义:它解释了为什么神经网络在持续学习(Continual Learning)场景下会出现"灾难性遗忘"。当新任务的训练更新了权重矩阵,实际上是在覆盖旧任务的键值对,旧的检索路径因此断裂,旧知识就"消失"了。

大脑通过海马体与新皮层的分工,在一定程度上规避了这个问题,因为快速学习和慢速沉淀发生在不同的结构里,彼此不会直接互相覆盖。

这也是互补学习系统理论(Complementary Learning Systems)在键值框架下得到的一个更精确的计算解释。

论文的意义,不在于它发现了什么之前完全未知的事实,而在于它提供了一种语言,让两个长期平行发展的领域终于能够精确对话。

过去,神经科学家说"海马体负责记忆编码",机器学习工程师说"注意力机制做的是检索",双方都知道这两件事听起来有点像,但没有人把它们放在同一个数学框架里写清楚。

这篇论文做的,正是这件事。

哈佛和MIT的这个研究团队,选择在《Neuron》而不是机器学习会议上发表这篇论文,本身也传递了一个信号:这不是一篇用脑科学为AI设计服务的工程论文,而是一次认真的基础科学尝试。

它想问的问题是:自然智能和人工智能,是否在独立演化的过程中,收敛到了同一套解决记忆问题的方案?

目前的答案,指向的是:很可能是的。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
强吻揉胸逼口交!日谐星「和解金加码8倍」砸2300万求放过 女网红崩溃

强吻揉胸逼口交!日谐星「和解金加码8倍」砸2300万求放过 女网红崩溃

ETtoday星光云
2026-06-03 15:34:21
国足官方:蒋光太、程进、拜合拉木将不随队前往新加坡,补招高天意

国足官方:蒋光太、程进、拜合拉木将不随队前往新加坡,补招高天意

懂球帝
2026-06-03 09:22:27
明明隔18公里就是江苏,河南骑车过不去,一脚踩进安徽砀山太憋屈

明明隔18公里就是江苏,河南骑车过不去,一脚踩进安徽砀山太憋屈

奇思妙想生活家
2026-06-03 12:57:48
汉密尔顿开低趴别克:爽翻了!第一次亲眼见

汉密尔顿开低趴别克:爽翻了!第一次亲眼见

日常碎碎念啊
2026-06-03 01:14:35
被北航投诉了,可能封号,因为写了耿同学的博士老师

被北航投诉了,可能封号,因为写了耿同学的博士老师

小小河
2026-05-30 22:21:44
滴滴把“判责后台”搬到台前,网约车真的要打价值战了!

滴滴把“判责后台”搬到台前,网约车真的要打价值战了!

牲产队
2026-06-02 16:54:44
“耿同学”永久限流后,南开大学、中山大学趁周末接连通报:多人遭免职

“耿同学”永久限流后,南开大学、中山大学趁周末接连通报:多人遭免职

药识局
2026-05-30 21:11:23
国足官宣3将受伤!2人退出本期集训,补招高天意,24人出征新加坡

国足官宣3将受伤!2人退出本期集训,补招高天意,24人出征新加坡

我爱英超
2026-06-03 09:13:51
猛批华为“韬定律”是学术造假,杨学志到底什么来头?

猛批华为“韬定律”是学术造假,杨学志到底什么来头?

数字财经智库
2026-06-02 11:36:16
女子哭诉新房被公婆住,老公不理解,网友一边倒:把90万还给公婆

女子哭诉新房被公婆住,老公不理解,网友一边倒:把90万还给公婆

奇思妙想草叶君
2026-06-02 13:58:51
兜转半生落泪!王菲现身谢霆锋演唱会,才懂真爱无畏岁月

兜转半生落泪!王菲现身谢霆锋演唱会,才懂真爱无畏岁月

湘西二当家
2026-06-03 16:01:33
傅首尔自曝2年瘦了38斤:学会了健康地吃家常菜和点外卖

傅首尔自曝2年瘦了38斤:学会了健康地吃家常菜和点外卖

韩小娱
2026-06-03 05:32:52
本周官宣!利物浦与43岁西班牙名帅签约2年 上任后6300万首签曝光

本周官宣!利物浦与43岁西班牙名帅签约2年 上任后6300万首签曝光

我爱英超
2026-06-03 06:51:58
玄学提醒:别人白送这3样东西千万别收,那是吸你运气!

玄学提醒:别人白送这3样东西千万别收,那是吸你运气!

宝哥精彩赛事
2026-06-03 13:13:20
22岁男子入室杀害前女友,曾称“你不过是长得漂亮,你凭啥?”

22岁男子入室杀害前女友,曾称“你不过是长得漂亮,你凭啥?”

中国新闻周刊
2026-06-02 18:00:54
“都把儿子养雌化了!”初中男孩出现雌化现象,家长却执迷不悟

“都把儿子养雌化了!”初中男孩出现雌化现象,家长却执迷不悟

妍妍教育日记
2026-05-29 07:55:13
小米推出米家简约商务双肩包,149元

小米推出米家简约商务双肩包,149元

IT之家
2026-06-03 13:06:21
杨瀚森:NBA节奏很快自身还要提升,我要为中国男篮多做贡献

杨瀚森:NBA节奏很快自身还要提升,我要为中国男篮多做贡献

懂球帝
2026-06-03 14:10:31
53岁重庆女子遭多年家暴,拍下132张伤情照,丈夫婚内出轨带第三者当面挑衅,她起诉离婚发现千万资产凭空消失,法院判了

53岁重庆女子遭多年家暴,拍下132张伤情照,丈夫婚内出轨带第三者当面挑衅,她起诉离婚发现千万资产凭空消失,法院判了

大风新闻
2026-06-03 16:09:20
FIFA秘书长:与央视达成了FIFA与中国有史以来金额最高的协议

FIFA秘书长:与央视达成了FIFA与中国有史以来金额最高的协议

懂球帝
2026-06-03 13:40:07
2026-06-03 18:36:49
侃故事的阿庆
侃故事的阿庆
几分钟看完一部影视剧,诙谐幽默的娓娓道来
1168文章数 8617关注度
往期回顾 全部

科技要闻

传DeepSeek融资意向500亿:腾讯投100亿

头条要闻

神农架一景区被指"圈路收费" 涉事公司最新公告

头条要闻

神农架一景区被指"圈路收费" 涉事公司最新公告

体育要闻

选择中国品牌的库里,和他们的巨大野心

娱乐要闻

官方痛批乱象 刘涛郑恺等艺人遭点名

财经要闻

AI,开始偷懒了?

汽车要闻

依托全域辅助驾驶布局 千里浩瀚助推吉利5月市场大热

态度原创

亲子
本地
家居
游戏
公开课

亲子要闻

孩子成绩是一门“玄学”,和智商仅半毛钱关系,其余九毛半去哪了

本地新闻

用杨柳青年画的方式,打开天津

家居要闻

江畔轻奢 观云大宅

女流点评《影之刃零》官宣跳票:对玩家是好事!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版