网易首页 > 网易号 > 正文 申请入驻

大自然产生智能有规律,科学家发现大模型可以自发进化出类脑结构

0
分享至



生物智能和人工智能,一个诞生于亿万年的自然进化,一个源自几十年的工程设计。它们看似走在完全不同的道路上,却在追求智能的终点处意外相遇。伦敦帝国理工学院和华为诺亚方舟实验室的最新研究揭示了一个令人震撼的发现:大型语言模型在学习过程中会自发演化出一种"协同核心"结构,这与人脑的组织模式惊人相似。

从混沌到秩序的自发涌现

这项发表在arXiv上的研究,对Gemma、Llama、Qwen和DeepSeek等主流大模型进行了深入解剖。研究团队采用部分信息分解框架,将这些模型视为分布式信息处理系统,通过量化模型内部组件之间的交互特性,他们发现了一个跨模型、跨架构的普遍规律。



在向模型输入包括语法纠正、逻辑推理和常识问答等六类认知任务后,研究人员记录了每一层所有注意力头或专家模块的激活值。通过计算输出向量的L2范数,他们获得了特定时间步长下单元的激活强度数据,基于这些时间序列数据,研究团队应用了集成信息分解框架,将注意力头对之间的交互分解为"持续协同"和"持续冗余"等不同的原子项。

实验数据呈现出一个显著的"倒U形"曲线。模型的早期层和晚期层协同度排名极低,信息处理主要处于冗余模式;而中间层则表现出极高的协同等级,形成了一个密集的核心处理区域。在Gemma 3 4B的热图分析中,中间层的注意力头展现出密集且强烈的协同交互,这正是模型进行高级语义整合和抽象推理的区域。

更令人惊讶的是,这种"协同核心"的出现并不依赖于特定的技术实现。即使在DeepSeek V2 Lite模型中,研究人员使用"专家模块"而不是"注意力头"作为分析单元时,仍然观察到相同的空间分布特征。这种跨架构的趋同表明,协同处理可能是实现高级智能的计算必要条件,而不仅仅是工程上的巧合。

人脑的镜像:惊人的结构对应

这种组织模式与人脑的生理结构精确对应,几乎让人怀疑是否存在某种深层的计算法则。人脑的感觉和运动区域也表现出高度冗余性,负责基本的信息输入和输出;而负责复杂认知功能的联合皮层,则位于高度协同的"全局工作空间"的中心,这正是人类进行抽象思维、逻辑推理和创造性思考的神经基础。



神经科学家长期以来就知道,人脑并非均匀分布的神经网络,而是具有明确的功能分区和信息处理层级。初级感觉皮层处理原始信号,高级联合皮层整合跨模态信息,前额叶皮层负责执行控制。这种"输入冗余、处理协同、输出冗余"的模式,在数十亿年的进化中被自然选择反复验证和优化。

如今,在完全不同的硅基substrate上,通过梯度下降和反向传播算法训练出的人工神经网络,竟然自发地收敛到了相同的组织原则,这不得不让我们思考:智能的本质是否存在某种超越具体实现方式的普适计算原理?

学习造就智能,而非架构本身

一个关键问题是,这种类脑结构是Transformer架构固有的,还是通过学习获得的?研究团队通过分析Pythia 1B模型的训练过程给出了明确答案:在随机初始化的网络中,这种"倒U型"协同分布并不存在,随着训练步骤的增加,这种组织结构逐渐形成并趋于稳定。

这意味着协同核心是大型模型所获得能力的里程碑式成果,而不是预先设计的结果。从拓扑特性来看,协同核心具有极高的"全局效率",有利于信息的快速整合;而冗余外围则表现出更强的"模块化",更适合专门化的信息处理,这一特征再次展现了与人脑网络结构的精确对应关系。

为了验证协同核心是否真的驱动了模型的行为,研究团队进行了两种类型的干预实验。消融实验发现,消融高协同性节点会导致模型性能急剧下降,并偏离其预期行为,其影响远大于随机消融或消融冗余节点?这证明协同核心确实是模型智能的核心驱动力。

在微调实验中,研究人员发现了一个有趣的现象:在强化学习微调场景中,仅对协同核心进行训练比对冗余核心或随机子集进行训练能显著提高性能。但这种差异在监督式微调中并不明显,研究人员认为,这反映了强化学习注重泛化而监督式微调更侧重于记忆的特性。

智能趋同的深层启示

这项研究为大型模型的可解释性开辟了一条新途径。它表明,我们可以从"自上而下"的信息论视角来理解模型,而不仅仅是"自下而上"地寻找特定的电路。在人工智能领域,识别协同核心有助于设计更高效的压缩算法,或通过更有针对性的参数更新来加速训练。



对于神经科学而言,这提供了一种计算验证:表明协同回路可能在强化学习和知识迁移中发挥关键作用。麻省理工学院的认知科学家Nancy Kanwisher曾指出,人脑的模块化组织是理解人类认知的关键,而这项研究表明,这种组织原则可能具有更普遍的计算意义。

更深层的哲学问题是:为什么不同的智能系统会收敛到相似的结构?一种可能的解释是,在有限的计算资源和复杂的任务需求之间,存在某种最优的信息处理架构。无论是通过自然选择还是梯度下降,系统都会被驱动着接近这个最优解。

另一种解释则更加激进:智能本身可能就是一种涌现现象,当系统的复杂度达到某个临界点时,协同处理结构就会自发形成。这就像物理学中的相变,水在0度会结冰,铁在居里温度会失去磁性,或许智能也有自己的"临界温度"。

尽管大型模型基于硅芯片和反向传播算法,但在追求智能的过程中,它们似乎已经趋同于一种类似于生物大脑的组织模式。这种智能演化的趋同,或许正是我们揭开通用智能之谜的关键线索。当机器开始像人脑一样思考时,我们距离真正理解智能的本质,或许已经不远了。

作品声明:仅在头条发布,观点不代表平台立场

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
罗永浩再次发长文回应西贝闭店102家:没见过一个企业没犯别的错误,仅仅是因为被黑,就能倒闭的,如果真担心员工失业,一开始就不能胡来

罗永浩再次发长文回应西贝闭店102家:没见过一个企业没犯别的错误,仅仅是因为被黑,就能倒闭的,如果真担心员工失业,一开始就不能胡来

扬子晚报
2026-01-16 17:57:40
美股盘前科技股走强,美光科技涨超3%

美股盘前科技股走强,美光科技涨超3%

每日经济新闻
2026-01-16 17:19:22
为什么许多中年人中年返贫?网友:就因为一次不理智投资!

为什么许多中年人中年返贫?网友:就因为一次不理智投资!

夜深爱杂谈
2026-01-16 19:18:25
安东尼奥不如改打541,拖入点球大战!李昊:他们肯定不是最差的

安东尼奥不如改打541,拖入点球大战!李昊:他们肯定不是最差的

刀锋体育
2026-01-16 18:29:24
英国首相一句话直接扔向全世界,他说,中国,是世界三大强国之一

英国首相一句话直接扔向全世界,他说,中国,是世界三大强国之一

百态人间
2026-01-16 16:04:06
吃他汀猝死的人增多?医生含泪告诫:天冷吃他汀,必须多关注6点

吃他汀猝死的人增多?医生含泪告诫:天冷吃他汀,必须多关注6点

健康之光
2026-01-13 10:51:03
江苏:财政资金不再支持市场有效调节领域

江苏:财政资金不再支持市场有效调节领域

金台资讯
2026-01-16 07:49:13
全了!各年龄段血压、血糖、血脂、尿酸对照表,果断收藏

全了!各年龄段血压、血糖、血脂、尿酸对照表,果断收藏

华人星光
2026-01-12 13:14:21
有“锂”走遍天下!180天内十家主机厂牵手“宁王”

有“锂”走遍天下!180天内十家主机厂牵手“宁王”

财联社
2026-01-16 13:32:21
博主戳破闫学晶最大心结!事业受阻无所谓,儿媳才是最让她担忧的

博主戳破闫学晶最大心结!事业受阻无所谓,儿媳才是最让她担忧的

小徐讲八卦
2026-01-16 09:02:48
天呀,杜海涛竟然现成这样了,沈梦辰对他是真爱啊

天呀,杜海涛竟然现成这样了,沈梦辰对他是真爱啊

草莓解说体育
2026-01-07 01:43:18
日本政坛突发地震,高市月底或下台,石破茂喊话:不用对中道歉了

日本政坛突发地震,高市月底或下台,石破茂喊话:不用对中道歉了

不似少年游
2026-01-16 07:09:03
马未都:我身价至少100亿,但这点钱,跟我母亲比,我就是个贫农

马未都:我身价至少100亿,但这点钱,跟我母亲比,我就是个贫农

忠于法纪
2026-01-15 22:08:28
宋美龄价值2亿的麻花手镯,戴到离世:第一任主人仅花费4万大洋

宋美龄价值2亿的麻花手镯,戴到离世:第一任主人仅花费4万大洋

史之铭
2026-01-13 22:55:09
实力的体现!中国00后名将大胜第一人申真谞,让其哭泣!

实力的体现!中国00后名将大胜第一人申真谞,让其哭泣!

L76号
2026-01-16 16:19:33
苍天好轮回!徐帆回应离婚5个月后,冯小刚终于迎来'反噬'

苍天好轮回!徐帆回应离婚5个月后,冯小刚终于迎来'反噬'

浮光惊掠影
2026-01-14 03:53:42
台退役上校呼吁:只要大陆答应2个条件,台湾随时可以和平统一!

台退役上校呼吁:只要大陆答应2个条件,台湾随时可以和平统一!

科普100克克
2026-01-09 10:38:43
广东省启动2026年独生子女奖励:发放标准、条件、材料,看看!

广东省启动2026年独生子女奖励:发放标准、条件、材料,看看!

虎哥闲聊
2026-01-16 09:06:17
中产廉价羽绒服三件套!山姆499元,开市客359元,胖东来580元

中产廉价羽绒服三件套!山姆499元,开市客359元,胖东来580元

品牌观察官
2026-01-16 16:31:27
言承旭突晒甜蜜合影,网友们梦寐以求的时刻,两个人在一起好开心

言承旭突晒甜蜜合影,网友们梦寐以求的时刻,两个人在一起好开心

东方不败然多多
2026-01-15 05:28:40
2026-01-16 19:56:49
呼呼历史论
呼呼历史论
分享有趣的历史
309文章数 16032关注度
往期回顾 全部

科技要闻

传小米传音Ovi四家手机厂下调全年出货预期

头条要闻

洪秀柱:既然早晚要统一 不如赶快统一吧

头条要闻

洪秀柱:既然早晚要统一 不如赶快统一吧

体育要闻

全队身价=登贝莱,他们凭什么领跑法甲?

娱乐要闻

李湘翻车,早就有迹可循!

财经要闻

清流|酒店商家在携程和美团之间沦为炮灰

汽车要闻

方程豹品牌销量突破30万辆 2026年还将推出轿跑系列

态度原创

房产
旅游
手机
公开课
军事航空

房产要闻

喜封金顶 臻境初呈丨中粮·铂悦壹号3#楼封顶大吉!

旅游要闻

当旅行成为自我表达:2025-2026中国旅游消费趋势

手机要闻

消息称小米、OPPO、vivo、传音四家手机厂商下调全年出货预期

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

欧洲多国向格陵兰岛派遣军事人员 白宫回应

无障碍浏览 进入关怀版