MindLLM | 耶鲁大学等单位研究者将脑成像直接翻译成文本

把大脑活动转化成自然语言对神经科学研究和脑机接口应用意义重大。以往方法在预测效果、任务类型的多样性以及不同受试者之间的适应性方面存在局限。而且，大多数方法都需要为每个受试者单独设置参数，限制了跨个体使用的灵活性。

在发表在预印本平台 arXiv 的研究“MindLLM：A Subject-Agnostic and Versatile Model for fMRI-to-Text Decoding”中，研究者使用了自然场景数据集（NSD）中 8 名受试者的数据来评估该模型。NSD 是 fMRI 领域中应用广泛的标准数据集。

耶鲁大学、达特茅斯学院和剑桥大学的研究人员联合开发了 MindLLM，这是一种与具体受试者无关的模型，能够将功能性磁共振成像（fMRI）信号翻译成文本。

这个模型结合了基于神经科学的注意力机制和大型语言模型（LLM），在多个下游任务中相较于 UMBRAE、BrainChat 和 UniBrain 等前沿方法，性能提升了 12.0%，对未见过的受试者泛化能力提升了 16.4%，对新任务的适应能力也提高了 25.0%，表现优于现有方案。

方法概述。MindLLM 配备了一个与受试者无关的 fMRI 编码器和一个现成的 LLM。MindLLM 已在多个受试者身上进行训练，这些受试者具有不同的输入形状和一个指令调整数据集，旨在对 fMRI 中不同方面的语义信息进行编码。训练完成后，MindLLM 能够执行各种文本解码任务。其中一个应用是，解码后的内容可用于实现对现有非专用系统的神经控制。图片来源：arXiv (2025)。DOI：10.48550/arxiv.2502.15786

MindLLM 的设计包括一个 fMRI 编码器和一个大型语言模型。

fMRI 扫描会将大脑划分成微小的三维单位，称为体素（相当于三维像素）。由于每个人的大脑结构略有不同，很难完全匹配标准脑图谱，导致每位受试者的体素数量和分布都不一样（从 12,682 到 17,907 个不等），需要不同维度的输入。

不过，即便体素分布不同，大脑的基本功能在个体之间是一致的。基于这一点，fMRI 编码器通过改进的注意力机制，在内部对这些活动进行映射，从而能够适应不同受试者的输入差异。

模型架构。fMRI 编码器通过我们提出的基于神经科学的注意力机制将 fMRI 映射到一系列 fMRI 标记。包含 fMRI 和文本标记的大型语言模型将通过脑指令调整进行训练。

该模型将体素的功能信息与其原始 fMRI 值分离，借助已有的神经科学知识，提高了模型在不同个体间的一致性。

脑指令调整（BIT）进一步增强了模型从 fMRI 信号中提取多样化语义信息的能力。BIT 是一种指令微调技术，利用多个受试者在观看同一图像时的 fMRI 数据及其相关文本注释，提升了模型对语义的理解能力。

在全面的 fMRI 到文本基准测试中，MindLLM 在脑字幕生成、问答和推理任务上均表现出色。

另外，MindLLM 对新受试者的适应性也更强，比其他非特定受试者模型提升了 16.4%；对新任务的适应性也提升了 25%，更能应对多样化挑战。该模型的注意力机制显示了特定大脑区域与感知和推理等认知功能之间的关系。

此前多数模型只专注于根据视觉刺激生成字幕。MindLLM 通过整合支持知识检索、符号语言处理和复杂推理的多类数据，突破了这些局限。

模型对比方面：MindBridge（Wang 等人，2024a）将体素展平后自适应压缩成固定维度，但忽略了位置信息；UniBrain（Wang 等人，2024b）通过均匀采样体素子集并整合其邻近体素来处理数据。图片来源：arXiv（2025）。DOI：10.48550/arxiv.2502.1578

它还引入了基于记忆的任务，例如回忆先前看过图像的描述，提升了在认知神经科学中的应用价值。开放式问答功能进一步拓展了其在医疗和科研领域的应用前景。

包括 Glasser 和 Rolls 等人在内的神经科学图谱为模型提供了功能先验信息，帮助其区分体素的位置和激活值。整合这些标准映射后，模型既能保持对不同个体的适应性，又不丢失神经科学的严谨性。

目前，MindLLM 只能处理静态 fMRI 图像，尚无法捕捉大脑活动随时间变化的过程。未来可能会引入时间建模技术，如循环网络或顺序注意力机制，以分析大脑思维活动的演变。

MindLLM 提供了对大脑如何转换为语义信息的解释性视角，进一步巩固了其在神经科学研究中的地位。未来如果扩展到实时 fMRI 解码，将可能在神经康复、心理状态监测和脑机接口领域带来更多突破。

仅用于学术分享，若侵权请留言，即时删侵！

欢迎加入脑机接口社区交流群，

探讨脑机接口领域话题，实时跟踪脑机接口前沿。

加微信群：

添加微信:RoseBCI【备注：姓名+行业/专业】。

欢迎来稿

1.欢迎来稿。投稿咨询，请联系微信：RoseBCI

点击投稿：

2.加入社区成为兼职创作者，请联系微信：RoseBCI

一键三连「分享」、「点赞」和「在看」

不错过每一条脑机前沿进展