天大与上海AI实验室：让AI同时"读懂"和"模拟"人类大脑的视觉思维

这项由天津大学人工智能学院与上海人工智能实验室联合发起、香港中文大学参与合作的研究，发表于2026年第43届国际机器学习会议（ICML 2026），论文编号为arXiv:2606.30319，有兴趣深入了解的读者可以通过该编号查询完整论文。

**大脑里藏着一台翻译机**

每当你看到一只长颈鹿，你的大脑会同时做很多事情：它会感受到那个橙黄色的身躯、斑驳的花纹、细长的脖子，同时还会自动冒出"长颈鹿"这个词，甚至想起动物园里的气味。你的视觉皮层和语言区域在这一瞬间协同工作，把来自眼睛的光信号翻译成一套完整的、多层次的内心世界体验。神经科学家把大脑的这种能力称为"多模态整合"——大脑天生就是一个跨越图像、语言、情感的统一处理平台。

这个看似理所当然的过程，却长期困扰着人工智能研究者。一方面，科学家们想知道：当你看到一张图片时，大脑里的神经信号究竟是什么样的？这叫做"大脑编码"，就像破译密码，要找出视觉刺激如何转变为神经活动。另一方面，研究者也想反过来问：拿到一段脑部扫描数据，能还原出当时那个人看到了什么吗？这叫做"大脑解码"，好比从密码倒推回原始信息。

问题在于，过去的研究者往往把这两件事分开来做，用完全不同的模型和工具处理，就像用两套完全不相通的语言来描述同一个故事。更尴尬的是，这些系统大多只懂得将大脑信号与图像对齐，却忽略了大脑本身就是一个语言和视觉都懂的"双语者"。

正是为了填补这个裂缝，研究团队提出了一个名为**BrainJanus**的系统——一个能在大脑、图像、语言三种"语言"之间自由切换、双向翻译的统一模型。这是这个方向上第一个真正做到"一个模型，四种任务"的尝试，覆盖了从图像到大脑、从文字到大脑、从大脑还原图像、以及从大脑还原文字描述这四个方向，全部放在同一套框架里完成。

一、为什么以前的方法总是"各说各话"

要理解BrainJanus为什么重要，先得明白之前的研究都在做什么，以及为什么它们总让人觉得差了点意思。

过去十年，神经科学和人工智能的交叉研究飞速发展。研究者们能够利用功能性磁共振成像（fMRI，简单说就是一种能看到大脑哪个区域在活动的扫描技术）来记录人在看图片时的神经响应，然后训练算法去还原这些图片。这类研究产生了不少令人印象深刻的成果，比如从脑信号重建出一只猫或一辆汽车的大致样貌。

然而这些研究存在一个深层的结构性问题：它们几乎无一例外地把大脑信号和CLIP的视觉特征对齐。CLIP是OpenAI开发的一个图文匹配模型，擅长把图像和文字放在同一个空间里比较相似度。把大脑信号和CLIP的视觉输出对齐，听起来很合理，但这样做意味着模型只懂得把大脑信号解读为"一种视觉特征"，完全抛弃了大脑信号中天然包含的语言和语义层次信息。神经科学的研究早就证明，人类大脑在处理视觉刺激时会同时激活语言相关的皮层区域，语义地图铺满整个大脑皮层，从处理低级视觉特征的早期视皮层，一直延伸到处理高层抽象概念的区域。换句话说，大脑本来就是多语言的，而过去的模型硬是把它变成了只懂视觉的单语者。

此外，"大脑编码"和"大脑解码"这两类任务在以往研究中几乎是完全割裂的，各自有各自的模型、各自的训练方式、各自的评估体系，就像一座城市里有两套完全不通的交通系统，中间没有换乘站。更麻烦的是，由于从大脑信号中解读出的语义内容不够丰富，这些系统不得不依赖大量外部工具来弥补，比如冻结的预训练CLIP模型、Stable Diffusion这样的图像生成系统、LLaMA或GIT这样的大型语言模型。系统本身的"大脑理解"能力其实很有限，生成的结果更多来自外部工具的"脑补"，而非真正的神经信号解读。

BrainJanus的出发点，就是从根本上改变这种局面。

二、BrainJanus的核心思路：建一个三语通用的"翻译站"

研究团队选择了一个简洁而优雅的解决方案，核心思路可以用一个类比来理解。

把大脑信号、图像和文字分别看作三种不同的"方言"。过去的研究是硬生生地在方言之间直接翻译，比如从闽南语直接翻成粤语，但因为两者之间差异太大，翻译质量参差不齐。BrainJanus的做法是：先把三种方言都翻译成同一种"普通话"，然后在这个统一的中间语言里自由操作，最后再翻译回任意一种方言。

这个"普通话"在技术上叫做**Omni空间**——一个所有模态共享的统一表示空间。为了让大脑信号也能进入这个空间，研究团队专门设计了一个**统一大脑分词器（Unified Brain Tokenizer）**，从零开始训练，专门负责把连续的神经活动信号转化为离散的"词元"（token）——就像把一段连续的音频信号转录成一个个独立的文字一样。视觉信号和文字信号也有各自对应的分词器，把图片和句子同样转化为词元序列。这样一来，三种来源的信息就都变成了同一种格式的"积木块"，可以自由拼接和处理。

大脑分词器的技术基础是VQ-VAE（向量量化变分自编码器），这是一种专门用于压缩和离散化连续信号的神经网络结构。打个比方，它做的事情类似于把一首完整的交响乐记录转化为乐谱——乐谱丢失了一些细节（比如演奏者的轻微颤音），但保留了所有核心的音乐结构和语义信息，而且乐谱这种格式比录音更方便存储、比较和处理。研究团队使用了128个"音符"（码本大小为128），压缩比为128，嵌入维度为32，在来自8个受试者的fMRI数据上联合训练，让这个分词器能够跨不同人的大脑活动学习到通用的表示。

训练大脑分词器时使用了一个三部分组成的损失函数。重建损失确保解码器能从压缩后的表示中还原出原始的脑活动信号；码本损失推动码本中的词向量向编码器输出靠近，让"词汇表"越来越准确；承诺损失则确保编码器不会随意漂移，提高训练稳定性。这三个损失共同作用，就像同时考察一个翻译员的准确性、词汇丰富度和一致性。

三、一个模型，四种任务：全向自回归架构

有了统一的词元空间，下一步就是建一个能够处理这些词元的模型。研究团队选择了目前大型语言模型最核心的技术：**自回归Transformer**，也就是GPT类模型的基本架构。

自回归模型的工作方式可以用填词游戏来理解。给你一段句子的前半部分，模型负责一个词一个词地预测接下来的内容，每次预测都基于已有的全部上下文。BrainJanus把这个逻辑推广到了多模态场景：无论输入是脑信号词元、图像词元还是文字词元，模型都把它们当作同一种"词"来处理，按照顺序一个接一个地生成后续内容。

这样的设计让模型天然地支持任意方向的跨模态生成。给模型一段脑信号词元序列，加上"接下来生成文字"的指令，模型就会输出对应的文字描述（大脑解码→文字）。换成"接下来生成图像"，模型就会输出图像词元，再经过视觉解码器还原成图片（大脑解码→图像）。反过来，把图像或文字词元作为输入，让模型预测脑信号词元，就实现了大脑编码（图像→大脑，或文字→大脑）。四个任务在一个模型里，通过统一的自回归预测机制无缝切换，中间不需要任何额外的"转接器"或"适配器"。

模型的骨干网络基于Janus-7B初始化，这是一个已经具备强大多模态理解能力的基础模型，隐藏层维度为4096。为了节省计算资源并避免破坏基础模型已有的知识，研究团队采用了LoRA（低秩自适应）方法进行参数高效微调——只调整注意力机制中的查询和值投影矩阵，其余参数保持冻结，缩放因子设为16，dropout率为0.2。训练使用AdamW优化器，余弦学习率调度，峰值学习率为2×10??，训练15个轮次，批量大小为16，配合ZeRO Stage-2分布式优化策略。

四、测试场地：自然场景数据集与实验设置

所有实验都在**自然场景数据集（NSD）**上进行，这是目前最大规模的fMRI-视觉配对数据集之一。8名受试者在7T高场强磁共振扫描仪下观看了来自COCO图像库的自然图片，总计约40小时的扫描时间。研究团队重点关注其中完成了全部实验阶段的4名受试者（编号1、2、5、7），每人有9000张训练图像（对应27000次fMRI试次）和1000张测试图像（每张重复3次，共3000次试次）。各受试者感兴趣区域内的体素数量分别为15724、14278、13039和12682个，覆盖早期视皮层和高层腹侧视觉区域。

在文字描述方面，研究团队做了一件颇有意思的工作：过去的研究普遍使用COCO数据集自带的人工标注描述作为训练目标，但这些描述往往过于简短，缺乏细节，比如一张画面丰富的街头骑行照片，标注可能只有"一群人骑自行车"这样的一句话。为此，研究团队使用了Qwen3-VL-235B-A22B-Instruct这个最新的多模态大语言模型，为73000张图像重新生成了详细的描述性文字。通过CLIP文本-图像相似度测量，研究证实这些新生成的描述与图像的语义对齐程度明显高于原始COCO标注和GIT模型生成的描述——密度图显示，Qwen生成的描述分布整体右移，意味着更高的平均语义匹配分数。

五、大脑解码实验：从神经信号还原世界

研究团队在两个解码方向上都进行了系统性的定量和定性评估。

在**大脑解码→文字**方向，BrainJanus与三个代表性基线方法进行了比较：MindEye2（当时最强的fMRI-图像重建系统之一）、UMBRAE（专门用于大脑多模态解码的系统）和MindLLM（基于大型语言模型的脑信号文字解码系统）。评估使用了多种标准的文字生成质量指标，包括BLEU（衡量n-gram重叠度）、METEOR、ROUGE（衡量召回率）、CIDEr（衡量描述与参考文本的一致性）、SPICE（衡量语义命题的准确性）、BERTScore（基于语义相似度的评分）以及CLIP文本和图像得分。

当使用原始COCO短描述作为参考标准时，BrainJanus在所有指标上均领先：BLEU-1达到63.20，BLEU-4达到22.45，METEOR达到20.21，ROUGE达到46.91，CIDEr达到62.37，SPICE达到13.10，BERTScore达到42.12，CLIP得分高达94.8%，相比第二名的MindLLM有明显提升。

当切换到Qwen生成的详细描述作为参考标准时，测试结果的差距变得更加悬殊。这是因为COCO短描述和Qwen长描述在词汇和句式上差异很大，用Qwen描述来评价那些基于COCO描述训练的模型会造成分数下降，但这也恰恰说明Qwen描述作为参考标准更能体现真实的语义对齐质量。在这个更严苛的评测场景下，BrainJanus的BLEU-1为40.21，BERTScore为38.12，CLIP得分高达96.2%，而其他三个模型的得分则大幅滑落——MindEye2的BLEU-1仅有4.32，UMBRAE为8.31，MindLLM为9.53。这个差距充分说明BrainJanus生成的文字描述更接近详细准确的语义内容，而非简单的模式匹配。

从具体案例来看，这个差距更加直观。比如对于一张画面是"两匹棕色马在绿色草地上并排站立，天空有白云"的图片，BrainJanus生成的描述是"两匹棕色的马在草地上面对面，其中一匹的头靠近另一匹的颈部，在明亮的天空下"，准确捕捉到了马的颜色、数量、姿态和背景；而MindEye2只生成了"几头奶牛站在草地上"，UMBRAE生成了"两匹马并排站在草地上"，MindLLM则输出了"一男一女站在长颈鹿旁边"——错误明显。在另一个案例中，对于一张石墙餐厅里人们品尝食物和葡萄酒的图片，BrainJanus能描述出"一群人坐在长桌旁，桌上有酒杯和盘子，置身于石墙和工业风天花板的房间里"，细节之丰富远超其他方法。

在**大脑解码→图像**方向，BrainJanus是所有比较方法中唯一的自回归模型，其余参与比较的方法（包括MindEye2、UMBRAE、Takagi和Nishimoto的方法、Ozcelik和VanRullen的方法）全部基于扩散模型。BrainJanus在高层语义指标上表现出色：CLIP相似度达到94.4%，Inception得分为94.7%，SwAV距离为0.372，这些指标均达到或超过了主流扩散模型的水平。值得关注的是，BrainJanus在低层像素保真度指标（PixCorr为0.173，SSIM为0.292）上低于MindEye2（0.322和0.431），这是自回归生成方式本身的特点——它更擅长捕捉语义结构而非精确的像素细节，类似于一个优秀的故事转述者，能准确描述情节但不追求一字不差。

研究团队还测试了一种有趣的零样本泛化场景：用只训练了脑信号→文字任务的模型来完成脑信号→图像生成（即先生成文字，再从文字生成图像，整个过程不经过脑信号→图像的直接训练）。这个零样本结果（CLIP得分77.3%）虽然不及直接训练的版本，但已经能产生有意义的图像还原，说明不同解码任务之间存在可迁移的共享表示，模型真正学到了跨任务的通用特征。

六、大脑编码实验：从图像生成"假大脑信号"

大脑编码这个方向——也就是给定一张图片，让模型预测出对应的脑活动信号——在这个领域历史上一直是个更难评估的问题。研究团队在这里做了一件对整个领域非常有价值的工作：他们系统地揭示了现有评估体系的严重漏洞。

目前该领域有两种主流评估方式。第一种是体素级指标，直接比较合成的fMRI信号与真实记录的fMRI信号在每个体素上的相关性，比如皮尔逊相关系数和均方误差。研究团队分析了8名受试者的数据，发现即使对同一名受试者、在不同试次下观看同一张图片，其fMRI响应之间也存在相当大的随机性变异。具体来说，体素级均方误差的噪声下界约为0.55，余弦相似度和皮尔逊相关系数的上界均低于0.65——这意味着任何编码模型的性能都被这个生物噪声天花板限制住了，并非模型的问题，而是大脑本身的随机性所致。

第二种评估方式是语义级指标：先用编码模型从图像生成合成fMRI，再把这个合成fMRI输入解码模型还原成图像，最后衡量还原图像与原始图像的相似度。这个方法的出发点是绕过体素级噪声，直接评估语义保真度。然而研究团队发现，这套评估体系存在一个几乎致命的漏洞，并专门设计了一个"填充攻击（Padding Hacking）"基线来证明这一点。

"填充攻击"的做法极其简单：不学习任何真实的生物映射关系，直接把图像的VQ-VAE视觉嵌入向量（维度远小于体素数量）用零值填充到与体素数量相同的维度，当作"合成fMRI"输出。解码器端再做反操作，从这个"假fMRI"中提取出视觉嵌入，还原成图像。这个方法本质上把大脑的体素空间当成了一个稀疏的存储介质，完全不学习任何神经科学规律。

然而测评结果令人咋舌：这个毫无生物意义的攻击基线在所有评估指标上都取得了接近满分的成绩——PixCorr达到0.919，SSIM达到0.595，AlexNet Layer 2和Layer 5相似度均达到100%，Inception得分达到100%，CLIP得分达到100%，EfficientNet距离仅为0.104。相比之下，真正学习了生物映射的MindSimulator和SynBrain在这些指标上的得分远远低于这个"作弊"基线。这个结果说明，重建图像质量指标根本无法区分"真正的神经合成"和"信息泄露"，整套语义级评估体系存在系统性缺陷。

正是基于这个认识，BrainJanus在编码任务的训练中完全避免了与预训练视觉嵌入的直接对齐，仅使用交叉熵损失来训练编码任务，强迫模型真正学习神经模式而非简单的特征存储。在这个更严格的公平评估框架下，BrainJanus的Inception得分为72.8%，CLIP图像得分为75.3%，CLIP文字得分为77.0%，BERTScore为28.3，全面超越线性回归基线（分别为65.9%、68.5%、72.5%、25.1）和Transformer编码基线（70.4%、72.4%、73.9%、26.4），距离使用真实体素作为上界的理论极值（94.7%、94.4%、96.2%、38.1）还有差距，但这个差距主要来自大脑信号本身的生物噪声限制，而非模型能力的不足。

定性结果同样令人鼓舞。研究团队将真实fMRI信号可视化与BrainJanus合成的fMRI信号并排展示，可以观察到合成信号在皮层拓扑结构上保持了合理的生物可解释性，不同脑区的激活模式与相应的视觉类别特征相符。将合成fMRI输入解码模型后得到的还原图像，也能保留原始图像的主要语义内容和视觉特征。

七、消融实验：如何在压缩与保留信息之间找到平衡

研究团队还详细考察了大脑分词器的设计选择，特别是压缩比和码本大小这两个关键超参数之间的权衡关系。

压缩比控制的是把原始体素序列压缩为词元序列时的缩减倍数。压缩比越小，保留的细节越多，但生成的词元序列越长，自回归模型处理起来越困难——就像一本书被拆分成越多的小章节，整体阅读就越费时间。码本大小控制的是"词汇表"的丰富程度，码本越大，能表达的神经模式就越精细，但模型也越难从有限数据中充分使用这些词汇。

实验结果显示，在压缩比1/64、1/128、1/256三个设置下，以及码本大小从8到512的范围内进行系统比较，发现码本大小超过128或256后，进一步增大带来的收益相当有限——MSE、SSIM、AlexNet相似度和CLIP相似度等指标的提升趋于平稳。研究团队最终选择了压缩比128、码本大小128的配置，作为质量与效率之间的最佳平衡点。

此外，研究团队还发现压缩过程本身具有意外的去噪效果：由于大脑信号天然含有高频噪声，将其量化为离散词元的过程会自动过滤掉这些随机波动，就像把模糊的手写笔记打印成标准字体，反而让内容更清晰可读。

八、研究的局限与未来的方向

研究团队对自己工作的局限性保持了坦诚的态度。目前BrainJanus只处理视觉皮层的fMRI数据，而非全脑活动，这意味着它捕捉到的神经活动只是大脑全部信息处理的一个局部切片。对于更高层次的认知过程、情绪反应、听觉信息处理等，目前这套框架还无法涵盖。

模型对强大生成先验的依赖也可能带来一定风险：生成的图像有时会"过度脑补"，优先保证视觉上的美观和合理性，而非严格忠实于原始神经信号所包含的信息。这就像一个高度熟练的翻译员，有时会把说话人的意思翻译得比原话更加流畅优美，但代价是可能引入了原话中并不存在的内容。

计算资源的需求和对不同神经模态（比如EEG、MEG等其他脑电记录方式）、不同受试者群体的泛化能力，也是这个框架未来需要系统性验证的课题。

说到底，BrainJanus做的事情放在更大的图景里看，是在尝试建立一座横跨神经科学与人工智能的真正意义上的桥梁。过去的研究更像是在两岸各自建造一半桥，但桥面并不相接；而BrainJanus在两岸之间铺通了一条共同的通道，让信息能够双向流动。

这意味着什么？脑机接口领域或许能从中受益——通过更准确地合成特定视觉内容对应的fMRI模式，可以帮助开发用于辅助视觉受损患者的神经假肢。认知神经科学家也可以用这类模型来探索大脑视觉处理的内在机制，提出关于神经编码原理的新假说。而将大脑信号、语言和视觉统一到同一个自回归框架的尝试本身，也为未来更广义的"全模态智能"提供了一种可行的方向。

回到那只让大脑同时产生视觉图像和"长颈鹿"这个词的动物。BrainJanus现在能做到的，是接收你看到它时的脑信号，然后同时输出一张长颈鹿的图片和一段文字描述，也能反过来，从一张长颈鹿图片或一段文字出发，预测你的大脑会产生怎样的活动模式。这距离真正"读懂大脑"还有很长的路，但这是迄今为止走得最为整合、最为统一的一步。感兴趣的读者可以通过arXiv编号2606.30319查阅完整论文，获取更多技术细节和实验数据。

Q&A

Q1：BrainJanus和之前的大脑解码模型比，最大的区别是什么？

A：BrainJanus最大的区别在于"统一性"。之前的模型通常只做一件事，要么从脑信号还原图像，要么生成文字描述，而且都高度依赖CLIP这类外部视觉模型作为对齐目标。BrainJanus把图像、文字、脑信号三种模态放进同一个词元空间，用一个自回归模型同时处理四种任务：从图像/文字预测脑信号，以及从脑信号还原图像/文字，真正实现了双向、多模态的统一建模。

Q2：fMRI大脑编码的语义级评估为什么容易被"作弊"？

A：研究团队发现，现有的语义级评估是用"合成fMRI→还原图像"的质量来判断编码好不好，但这套流程根本无法防止一种极端的信息泄露：把视觉嵌入向量直接填零补位塞进体素空间，解码时再把它取出来。这个完全不学习任何神经规律的"填充攻击"在所有指标上能得到接近满分，说明高重建质量既可以来自真实的神经映射，也可以来自简单的信息搬运，两者在现有指标上无法区分。

Q3：BrainJanus在大脑信号编码任务上为什么选择用交叉熵损失而不对齐视觉特征？

A：正是因为发现了上述"填充攻击"漏洞。如果训练时直接让合成fMRI与预训练CLIP或VQ-VAE的视觉嵌入对齐，模型很可能走捷径，把视觉特征信息编码进体素空间而非真正学习生物映射。改用交叉熵损失直接预测脑信号词元，迫使模型从真实的神经活动模式中学习，虽然得分看起来低一些，但结果更具有真实的神经科学意义。