耶鲁、剑桥等联合提出MindLLM，让fMRI直接生成自然语言

如果有一天，人们不用开口，仅凭大脑活动就能回答问题、描述眼前所见，甚至回忆刚刚经历过的事情，会发生什么？

过去几年，脑机接口不断刷新人们对“脑信号解码”的认知。从运动意图解码到语音重建，再到视觉重建，研究者一直希望找到一种更加通用的方法，将复杂的大脑活动直接翻译成人类能够理解的语言。

不过，这件事远比想象中困难。传统方法往往针对某一种任务单独设计，例如只生成图像描述，或者只完成简单分类；更重要的是，不同人的大脑结构存在差异，模型通常需要针对每一位受试者重新训练，难以真正实现跨个体应用。

耶鲁大学、剑桥大学以及达特茅斯学院研究人员联合提出了一种新的模型——MindLLM。顾名思义，它试图把大型语言模型（LLM）引入脑信号解码，让功能性磁共振成像（fMRI）信号直接转换为自然语言，而且最大的特点是不再依赖特定受试者。

研究人员在自然场景数据集（NSD）的 8 名受试者数据上进行了验证。结果显示，与 UMBRAE、BrainChat、UniBrain 等当前代表性方法相比，MindLLM 在多个下游任务上的整体性能提升了 12.0%，对未见过受试者的泛化能力提升了 16.4%，面对全新任务时的适应能力也提升了 25.0%。

这些数字背后，意味着脑信号解码开始从“一个模型对应一个人、一项任务”向“一个模型适配更多人、更多任务”迈出了一步。

真正困难的，不是翻译，而是每个人的大脑都不一样

很多人会误以为，fMRI 解码最大的难点在于如何把脑信号变成文字。

实际上，更大的挑战来自不同人的大脑结构。

图片来源：arXiv (2025)。DOI：10.48550/arxiv.2502.15786

fMRI 扫描会把整个大脑划分成大量三维体素（Voxel），可以理解为三维空间里的“像素”。由于每个人的大脑解剖结构都存在细微差异，因此不同受试者对应的体素数量和空间分布并不一致。在这项研究中，不同受试者的体素数量从 12682 个到 17907 个不等，这意味着模型面对的输入维度天然就是变化的。

过去不少模型都会尝试把这些不同长度的数据压缩成统一维度，再送入神经网络进行处理。

例如，MindBridge 会把所有体素展平成固定长度，但这种做法容易丢失空间位置信息；UniBrain 则采用均匀采样部分体素及其邻域的方法降低复杂度，虽然提高了计算效率，却仍然无法完全解决跨个体差异的问题。

MindLLM 采用了另一条思路。

研究人员认为，虽然不同人的大脑形状不同，但很多高级认知功能的位置具有相对一致性。因此，他们设计了一种结合神经科学知识的注意力机制，不直接比较体素的位置，而是首先学习这些脑区承担的功能，再建立不同个体之间的对应关系。

换句话说，模型学习的不是“这一块体素长什么样”，而是“这一块体素负责什么功能”。

正是这种思路，使得模型能够适应不同受试者之间的输入差异，而不需要针对每位受试者重新设计模型结构。

MindLLM 如何把脑活动变成一句完整的话？

整个 MindLLM 可以理解成由两部分组成。

第一部分，是一个与受试者无关的 fMRI 编码器。

它负责把复杂的大脑活动转换成一系列能够表达语义的信息表示。在这一过程中，模型不仅利用体素本身的激活值，还结合已有神经科学图谱，将脑区功能信息与原始 fMRI 信号进行区分，从而提高不同个体之间表示的一致性。

第二部分，则是一套已经训练完成的大型语言模型。

当编码器输出语义表示之后，大语言模型负责将这些抽象表示组织成自然语言，完成字幕生成、问答、推理等不同任务。整个过程类似于给大语言模型提供了一种新的“输入语言”，只不过这种语言不是文字，而是来自大脑活动。

为了让模型真正理解脑信号表达的语义，研究团队还提出了Brain Instruction Tuning（BIT）。

BIT 可以理解为一种针对脑信号的指令微调方法。研究人员利用多个受试者观看相同图像时采集到的 fMRI 数据，以及对应的文字描述，共同训练模型，使其不仅学习图像内容，更学习脑活动与语义之间的对应关系。

模型对比方面：MindBridge（Wang 等人，2024a）将体素展平后自适应压缩成固定维度，但忽略了位置信息；UniBrain（Wang 等人，2024b）通过均匀采样体素子集并整合其邻近体素来处理数据。图片来源：arXiv（2025）。DOI：10.48550/arxiv.2502.1578

相比过去主要依赖图像字幕训练的方法，这种训练方式引入了知识检索、符号语言处理以及复杂推理等多种任务，让模型能够从脑活动中提取更加丰富的语义信息。

不只是生成字幕，它开始尝试理解人的认知过程

过去几年，大多数脑信号解码研究主要集中在一个目标——根据受试者看到的图像生成一句描述。

而 MindLLM 希望突破这一限制。

研究中，模型不仅完成了脑字幕生成，还能够执行开放式问答、推理以及基于记忆的任务。例如，让模型根据脑活动回忆此前看过图像的描述，而不仅仅描述当前正在看到的内容。

这一变化意味着，模型开始尝试处理更加复杂的认知活动，而不是简单完成视觉信息恢复。

与此同时，研究人员还分析了模型内部注意力机制。

结果发现，不同脑区在模型中的关注模式，与神经科学已有关于感知、语言以及推理等脑功能区域的认识具有一定一致性。这意味着，MindLLM 不仅能够输出结果，同时还能为理解“大脑如何组织语义信息”提供一定的可解释性。

包括 Glasser、Rolls 等神经科学图谱，也被作为功能先验引入模型之中，帮助系统区分体素的位置和激活值，使模型在保持跨个体泛化能力的同时，不丢失神经科学上的严谨性。

距离真正实时“读脑”，还有一步

尽管取得了不错的结果，但研究团队也指出，目前 MindLLM 仍存在明显局限。

首先，它目前只能处理静态 fMRI 数据。

fMRI 本身具有较低的时间分辨率，因此模型无法连续追踪大脑活动随时间变化的过程，更难以实时解析人的思维演变。未来，研究人员计划引入循环神经网络或序列注意力机制等时间建模方法，以支持连续脑活动分析。

另一方面，虽然模型已经展现出较好的跨受试者泛化能力，但实验仍然基于 NSD 数据集完成，距离真实世界中复杂、多样的人群应用，还有进一步验证的空间。

不过，从研究路线来看，MindLLM 展示出的意义并不仅仅在于又提升了几个百分点的准确率。

它尝试回答的是另一个更加根本的问题：如果未来脑机接口真正进入大模型时代，模型面对的不再只是某一种脑信号、某一种任务，而是能够像今天的大语言模型一样，在统一框架下完成理解、推理、回答以及知识调用，那么脑信号解码或许也会逐渐从一个个孤立的小模型，演化成一个更加通用的大脑基础模型。

对于脑机接口而言，这种变化的重要性，可能并不亚于大语言模型对自然语言处理带来的那场变革。

脑机接口社区是国内首家脑机接口(BCI)产业服务平台、国内脑机接口新媒体开创者与引领者。主要为企业、科研团队、投资机构和从业者提供以下服务：

宣传报道：图文、短视频、直播形式报道企业动态、技术解读、产品介绍等内容，提升曝光和行业影响力。

资源对接：根据需求匹配资本、供应链、临床机构、渠道方等资源，完成真实对接，促进合作。

成果转化：协助技术团队寻找产业方、投资人及落地场景，推动技术到产品的转化。

活动策划执行：承接线上线下路演、沙龙、论坛等活动的策划与执行。

其他定制需求：包括报告定制、市场调研、人才招聘支持等个性化服务。

合作洽谈，请联系微信：ZuoLeiLeiya

（备注：姓名-单位-合作）

投稿丨成为创作者，请联系微信：RoseBCI

不错过每一条脑机前沿进展

一键三连「分享」、「点赞」和「在看」

欢迎在评论区聊聊