重磅！科学家创造“语言指纹”来解读大脑感知视觉世界的机制

近年来，科学界对人类大脑如何处理和理解视觉世界的探索，取得了显著进展。我们的大脑不仅能够识别诸如“狗”或“汽车”这样的物体，还能深入理解物体所在的环境、事件的发生背景以及事物之间如何相互联系。然而，长期以来，科学家们难以找到一种有效的方式来衡量和量化这种复杂而丰富的理解。

近日，蒙特利尔大学心理学副教授伊恩·查雷斯特（Ian Charest）及其国际团队，借助大型语言模型（LLM）解开了这一谜团，提供了新的研究视角和潜在的应用前景。

大型语言模型与视觉场景的关联

在查雷斯特的最新研究中，他与明尼苏达大学、德国奥斯纳布吕克大学以及柏林自由大学的学者们合作，提出了一种创新的思路来揭示大脑如何处理和理解视觉信息。研究人员发现，通过将自然语言场景描述输入大型语言模型（如ChatGPT背后的技术），可以创造出一种“基于语言的指纹”，用于识别场景的深层含义。与传统的视觉识别模型不同，这种“语言指纹”不仅关注单一的物体识别，而是深入到场景中的语境、情感和关联性。

查雷斯特教授指出，令人惊讶的是，这些通过LLM创建的“指纹”与人类大脑在面对相同场景时的活动模式高度吻合。例如，当人们在核磁共振扫描仪中观察到一群玩耍的孩子或一座城市的天际线时，大脑的反应与这些“语言指纹”表现出的模式几乎完全一致。

来自LLM嵌入的映射捕获了对自然场景的视觉反应

这一发现标志着我们对人类大脑如何感知和理解视觉信息的理解取得了前所未有的进展。通过这种方法，研究人员能够将人类视觉体验转化为可以量化和分析的数据，从而为未来的脑科学研究提供了新的方向。

LLM与大脑反应的匹配

不仅如此，研究团队还进一步将人工神经网络应用于视觉数据的预测。这些神经网络能够接收图像并预测与之相关的LLM指纹，而这些神经网络在匹配大脑反应方面的表现，甚至超过了当前许多最先进的人工智能视觉模型。这一成果尤为令人震惊，因为这些现有的人工智能视觉模型的训练数据量较小，尚未达到理想状态，仍然面临许多挑战。

基于LLM的脑活动线性预测与解码

这表明，大型语言模型不仅在文本处理上具有独特的优势，其在理解视觉场景、尤其是人类大脑如何解读这些场景方面，也展现了强大的潜力。通过这种方法，科学家可以精准地预测大脑对不同场景的反应，包括食物、地点，甚至是包含人脸的复杂场景。

语言模型与视觉处理的相似性

这一研究的突破性成果之一在于揭示了人脑处理复杂视觉场景的方式，竟与现代语言模型理解文本的方式有惊人的相似之处。奥斯纳布吕克大学的机器学习教授Tim Kietzmann及其团队为这一发现提供了支持，并通过一系列实验验证了这一理论。这一发现对神经科学和人工智能领域的影响深远，它不仅为我们提供了关于大脑如何理解视觉信息的新见解，也为开发更为智能和更具人类感知能力的人工智能系统提供了理论依据。

查雷斯特教授进一步指出，这项研究为未来在多个领域的应用奠定了基础。从脑机接口的改进，到智能人工系统的优化，乃至自动驾驶汽车的决策支持，这些新技术的潜力几乎是无穷的。尤其是当这些技术应用于视力障碍患者时，未来或许能够开发出更加精细化、个性化的视觉假体，为有视力问题的群体提供更为真实和清晰的视觉体验。

对未来技术的启示

更为重要的是，这项研究在解码思维、提升人工智能能力和改善脑机接口方面，开启了新的可能性。通过模拟大脑对复杂视觉场景的反应，科学家们不仅能更好地理解人类的认知过程，还能够为创造更符合人类思维的技术打下坚实基础。

例如，借助这一技术，未来的自动驾驶汽车将能够像人类一样理解路况、预测交通状况和判断危险信号，从而做出更加准确和安全的决策。与此同时，增强现实（AR）和虚拟现实（VR）技术也可能借此突破性进展，实现更具沉浸感和真实感的用户体验。

此外，这项研究还可能对视力严重受损的人群产生革命性的影响。通过利用大脑对视觉场景的处理方式，未来的视觉假体可能不仅仅是简单地增强视觉功能，而是能够更好地模拟大脑的自然反应，让使用者感知世界的方式更加贴近真实。这一发展不仅能够改善患者的日常生活质量，还可能为他们提供更多的社会参与机会。

迈向更深层次的脑科学理解

尽管目前的研究还处于初步阶段，但它为我们提供了一种全新的视角来解读人脑如何感知世界。通过结合语言模型和神经科学的研究，科学家们有望在未来逐步揭开更多关于人类大脑如何处理和理解外界信息的奥秘。这不仅能够帮助我们更好地理解人类思维的本质，也可能为智能技术的发展提供更多创新的启示。

Adrien Doerig et al, High-level visual representations in the human brain are aligned with large language models, Nature Machine Intelligence (2025). DOI: 10.1038/s42256-025-01072-0

仅用于学术分享，若侵权请留言，即时删侵！

欢迎加入脑机接口AI星球，获取更多脑机接口+AI等领域的知识和资源。

合作咨询请添加微信:RoseBCI【备注：姓名+行业/专业】。

欢迎来稿

1.欢迎来稿。投稿咨询，请联系微信：RoseBCI

点击投稿：

2.加入社区成为兼职创作者，请联系微信：RoseBCI

一键三连「分享」、「点赞」和「在看」

不错过每一条脑机前沿进展