北大/山大一院等团队：为什么眼睛看到的世界，会被语言悄悄改变？

长期以来，人们认为，眼睛负责“看”，语言负责“说”，二者虽然相互配合，却各司其职。然而，一个持续争论了很久的问题始终没有真正得到回答：语言究竟是在我们“看见之后”帮助理解世界，还是早在视觉形成的过程中，就已经参与塑造了我们所看到的世界？

北京大学心理与认知科学学院、IDG麦戈文脑科学研究所毕彦超课题组与北京大学心理与认知科学学院朱毅鑫课题组、山西医科大学第一医院王效春团队合作，在《Nature Human Behaviour》发表最新研究，深度探索了这一问题。研究不仅结合了人工智能模型、人脑功能影像和脑卒中患者的数据，还首次找到了语言影响视觉表征所依赖的关键神经通路——左侧角回（Angular Gyrus，AG）与腹侧枕颞皮层（VOTC）之间的白质连接。

这意味着，语言对于视觉的影响，并不仅仅发生在人们作出判断或回答问题的时候，而是已经深入到了人脑视觉表征形成的阶段。与此同时，这项工作也提出了一种全新的 AI 与脑科学研究范式：利用人工智能模型预测人脑，再借助真实脑损伤验证模型，从而反过来推动更接近生物智能的 AI 发展。

一个争论了一百多年的问题：语言会不会改变我们看到的世界？

早在上世纪，萨丕尔—沃尔夫假说（Sapir–Whorf hypothesis）便提出，不同语言可能会影响人们感知世界的方式。过去几十年，不少研究发现，语言标签确实可能影响颜色、形状等信息的分类和判断，例如不同语言对颜色的命名方式不同，人们对颜色边界的辨别能力也会有所差异。

然而，这些研究始终存在一个无法绕开的质疑。

如果一个人在看到物体之后，因为语言的存在而改变了自己的回答，那么这种影响究竟发生在视觉加工本身，还是仅仅发生在后续思考、判断乃至语言表达阶段？

换句话说：

人们到底是“看见了以后再受语言影响”，还是“看到的时候就已经被语言改变”？

这也是为什么，过去关于语言塑造视觉的研究虽然很多，却始终缺少真正能够解释神经机制的直接证据。仅依赖行为实验，很难回答语言究竟在什么时候、通过什么脑区、沿着什么神经通路参与了视觉加工。

AI成为破解这一问题的新工具

近年来，多模态人工智能的发展，为这一经典问题提供了新的研究工具。

尤其是 CLIP（Contrastive Language-Image Pretraining）这样的视觉—语言模型，通过海量图文配对数据进行训练，可以同时学习图像内容和语言描述之间的对应关系。此前已有不少研究发现，与传统纯视觉模型相比，CLIP 在预测人类高级视觉皮层活动时，往往表现得更加接近真实人脑。

但新的问题也随之出现。

如果 CLIP 更像人脑，究竟说明语言真的塑造了视觉表征，还是因为现实世界本身就存在大量视觉、动作、触觉等多模态关联，而语言模型只是恰好学习到了这些共同结构？

也就是说，模型因为语言而变强，并不等于人脑也是因为语言才形成了这种视觉表征。

因此，仅仅比较 AI 与人脑之间的相似性，依然无法建立真正的因果关系。研究团队认为，要回答这一问题，就必须寻找一种能够自然破坏语言—视觉联系的真实场景。

脑卒中患者，恰好提供了这样的机会。

当语言通路被切断，人脑开始“更像”另一种 AI

为了回答这一问题，研究团队设计了一套双重验证策略。

首先，他们选择了三类具有代表性的视觉模型：

一种是同时学习图像和语言信息的 CLIP； 一种是依赖人工类别标签训练的 ResNet； 另一种则是完全不涉及语言、仅依靠图像自监督学习的MoCo。

随后，研究人员利用表征相似性分析（RSA），比较三种模型与人脑腹侧枕颞皮层（VOTC）神经活动之间的对应关系，并在四套独立 fMRI 数据集上进行了重复验证。

结果非常一致。

无论是在口语命名、手语命名、颜色知识判断还是公开数据集 THINGS 中，CLIP 都能够稳定捕捉到 VOTC 神经表征中更多独特的信息，而且这种优势主要出现在左半球，与人类语言网络的左侧化分布高度一致。

更值得注意的是，这种现象在听障手语使用者中同样存在，说明它并不依赖听觉经验，而是与语言本身有关。

真正关键的验证，则来自 33 名慢性脑卒中患者。

研究人员分析了患者连接 VOTC 与语言系统之间白质纤维束的完整性。当左侧角回与 VOTC 之间的连接保持完整时，患者的大脑活动依旧更接近 CLIP；而随着这条连接逐渐受损，人脑与 CLIP 的相似性持续下降，却越来越接近完全依赖视觉统计学习的 MoCo。与此同时，右侧对应通路并没有出现类似现象，说明这种调节具有明显的左侧语言网络特异性。

这意味着，语言并不是简单参与最后的判断，而是真正通过左侧角回这一语言网络节点，将语言中的关系结构持续“注入”到视觉系统之中。当这一通路被破坏后，人脑便开始更多依赖纯视觉统计规律，其神经活动模式也因此更加接近 MoCo 这样的纯视觉模型。

AI-Brain-Lesion范式

如果只看实验结果，这项工作似乎只是回答了一个经典认知科学问题。

但从脑科学和人工智能的发展来看，它更大的价值，在于建立了一种新的研究范式。

过去几年，大量研究都喜欢比较 AI 与人脑究竟有多相似。然而，这种相似性往往停留在统计层面，很难进一步判断模型为什么像人脑，也无法证明模型学到的机制是否真正符合生物学规律。

这项研究则走出了新的一步。

研究团队没有止步于模型和健康大脑之间的对应关系，而是进一步利用脑卒中患者这一真实的“自然操纵”，观察当语言网络被部分切断后，AI 模型与人脑之间的对应关系是否也会随之发生系统性变化。如果模型能够正确预测这种变化，就意味着它不仅拟合了结果，更在一定程度上捕捉到了背后的神经机制。

这种AI-Brain-Lesion（人工智能—脑损伤）的研究思路，为未来脑科学和人工智能的融合提供了一条新的路径。

未来，或许不仅可以利用健康人的脑成像训练 AI，还能够借助不同脑区损伤患者的数据，对 AI 模型进行持续验证和修正，让模型逐渐摆脱单纯依赖大规模数据拟合的方式，而更多学习真实大脑的信息加工机制。对于类脑智能的发展而言，这样的闭环验证，比单纯追求更大的模型、更高的参数规模更具长期价值。

从更广的角度来看，这项研究也提醒人们重新理解多模态人工智能的发展方向。CLIP 之所以比传统视觉模型更接近人脑，并不仅仅因为它看到了更多图像，而是因为它学习到了语言赋予视觉的关系结构。而未来的 AI，也许需要不断接受来自真实神经系统的约束，才能真正向更加符合生物智能规律的方向演化。

参考：

https://www.nature.com/articles/s41562-025-02357-5

脑机接口社区是国内首家脑机接口(BCI)产业服务平台、国内脑机接口新媒体开创者与引领者。主要为企业、科研团队、投资机构和从业者提供以下服务：

宣传报道：图文、短视频、直播形式报道企业动态、技术解读、产品介绍等内容，提升曝光和行业影响力。

资源对接：根据需求匹配资本、供应链、临床机构、渠道方等资源，完成真实对接，促进合作。

成果转化：协助技术团队寻找产业方、投资人及落地场景，推动技术到产品的转化。

活动策划执行：承接线上线下路演、沙龙、论坛等活动的策划与执行。

其他定制需求：包括报告定制、市场调研、人才招聘支持等个性化服务。

合作洽谈，请联系微信：ZuoLeiLeiya

（备注：姓名-单位-合作）

投稿丨成为创作者，请联系微信：RoseBCI

不错过每一条脑机前沿进展

一键三连「分享」、「点赞」和「在看」

欢迎在评论区聊聊