神经元会说话吗？单细胞分辨率下的视觉语义叙述

神经元会说话吗？单细胞分辨率下的视觉语义叙述

Can neurons speak?

Semantic narration of vision at single-cell resolution

https://arxiv.org/pdf/2606.18667

摘要

识别高级视觉皮层中单个神经元编码的内容是一个尚未解决的问题。神经元的响应难以用直观的参数进行描述，而用来替代它们的深度网络嵌入则是黑箱。在此，我们介绍了 NEURRATOR，这是一个在单神经元分辨率下将脉冲活动解码为所观看场景的自由形式自然语言叙述的框架。一个学习到的编码器将来自任意同时记录神经元子集的脉冲序列映射到冻结的 CLIP 模型的补丁嵌入空间中，由此，一个多模态语言模型和稀疏自编码器在无需语言端训练的情况下生成并验证描述。将 NEURRATOR 应用于小鼠在观看自然电影时视觉皮层的 Neuropixels 记录，它可以基于数千个神经元、单个皮层区域、局部群体或分子定义的细胞类型进行叙述。我们利用这一特性来（i）量化解码保真度如何随群体大小和皮层区域而变化，以及（ii）用通俗语言叙述单个神经元和基因标记的抑制性细胞类型对视觉表征的贡献。这将细胞身份从分类目标重新构想为视觉系统的功能探针，为神经系统提供了新的生物学洞察单元。代码地址：https://github.com/arnaumarin/neurrator

1 引言

神经科学的一个核心问题是识别和解释单个神经元编码的内容。最常见的策略是将外部变量参数化，并将这些参数与神经活动模式联系起来。例如，许多视网膜神经节细胞对光斑或暗斑做出反应，这可以通过光斑的位置、大小和极性进行有效参数化 [1, 2]。这种方法在高级视觉皮层区域会失效，因为在这些区域，神经元对复杂的视觉特征做出反应，而这些特征很难沿着直观的轴进行参数化 [3–8]。为了将调谐分析扩展到这一领域，最近的工作通过将自然图像和视频嵌入到大型神经网络的潜在表征空间中来对其进行“参数化”，然后将这些潜在变量映射到神经活动上 [9–20]。与手工设计的特征空间相比，这大大提高了预测性能，但研究人员仍然必须通过手动刺激检查、检索或归因分析，将高维激活转化为语义假设，并最终转化为通俗的语言描述。

原始预测能力与可解释性之间的建模张力定义了解码神经活动的帕累托前沿：最具预测性的目标通常是黑箱。对比视觉-语言模型提供了一种突破这一瓶颈的方法。诸如 CLIP、ALIGN 和 SigLIP 等模型学习了一种联合嵌入，其中图像及其自然语言描述占据相邻的点 [21–23]，而建立在这些编码器之上的多模态语言模型（如 BLIP-2、Flamingo、LLaVA）将该空间中的嵌入作为输入，并生成自由形式的自然语言描述 [24–26]。这两种类型模型的结合，为任何能够与视觉-语言模型嵌入空间相关联的信号提供了一座通向语言的桥梁。该空间还允许进行特征级分解：拟合其激活的稀疏自编码器（SAEs）揭示了一个包含可解释视觉概念方向的有限字典 [27–29]。这两个特性（生成式读出和概念级分解）结合在一起，使该空间成为神经解码的自然目标：一个将脉冲映射到该空间的模型将免费生成群体所代表内容的人类可读描述，并为探究每个神经元对哪些视觉概念做出贡献提供原则性基础。据我们所知，先前没有工作将该空间用作单神经元解码器的目标：现有的电生理解码器要么重建低级刺激特征，要么局限于不透明的嵌入坐标，使得描述瓶颈依然存在。消除这一瓶颈不仅能提高解码输出的可读性，还将开启一种新的探究模式，在这种模式下，可以在单个神经元和特定关注群体的分辨率下，直接用自然语言提出、查询和检验关于神经系统的假设。

我们将这一想法实例化为 NEURRATOR，这是一个将单个神经元的脉冲活动直接映射到所观看视觉场景的自然语言叙述的框架。NEURRATOR 包含一个学习到的编码器，该编码器接收选定记录神经元子集的脉冲序列，并预测冻结视觉塔的相应图像块嵌入；然后，一个冻结的多模态语言模型将这些嵌入解码为自由形式的描述（图1；更多示例见图 A1、A2）。我们在小鼠观看自然电影时视觉皮层的 Neuropixels 记录上训练和评估 NEURRATOR [30, 31]，以 CLIP ViT 作为目标嵌入空间，以 LLaVA 作为语言解码器 [21, 26]。由于编码器在输入子集上是一致的，同一个训练好的模型可以在任意亚群上进行查询：我们利用这一点来量化语义准确性如何随输入神经元的数量、它们所属的皮层区域以及群体的细胞类型组成而缩放。为了超越原始文本并恢复每个亚群编码内容的结构化描述，然后我们通过拟合 SAE [27] 将预测的嵌入推入预训练的 CLIP 空间，以创建基于原理的视觉概念特征字典。经验上，我们发现不同大脑区域和基因定义的细胞类型之间存在不同的概念特征。

我们的贡献如下：

• 基于语义的神经解码器。我们引入了 NEURRATOR，这是第一个将单脉冲级别的群体活动直接映射到视觉体验的语义连贯的自然语言描述的解码器，能够泛化到留出的帧、留出的图像身份以及一部未见的第二部电影（第 4.1 节）。

• 区域和细胞类型身份作为功能探针。由于解码器在输入子集上是一致的，我们在推理时将其限制在单个神经元、解剖区域或分子定义的细胞类型，并用语言读出每个子集对表征的贡献。这产生了语义解码保真度作为群体大小和皮层区域函数的缩放定律，并将细胞类型和区域标签从分类目标重新构想为视觉处理的功能探针（第 4.2 节）。

• 细胞类型贡献的概念级分解。将上述方法与预训练的 CLIP 稀疏自编码器 [27] 相结合，我们将每个亚群的贡献分解为可解释的视觉概念特征，恢复了细胞类型特异性的概念特征，这些特征在 bootstrap 重采样和正交 CLIP-文本概念轴验证下作为假设（例如，PV → 小的圆形物体）（第 5 节）。

2 相关工作

人类神经数据的生成式语言读出。共享的视觉-语言空间已被广泛用作非侵入性人类记录的编码目标和解码源。自然刺激的视觉-语言和语言模型嵌入可以预测 fMRI BOLD 响应 [32–37]，针对图像空间训练的 fMRI 解码器可以重建观看的图像 [38–40]，而针对语言模型表征训练的解码器可以从感知到的语音、想象的语音和无声视频中重建连续的自然语言 [41, 42]。最近的工作甚至用自由形式的自然语言为单个体素的首选刺激生成描述 [43]，向每个单元的可解释性迈出了一步。根本的限制在于空间：每个体素或电极触点整合了 10^4 到 10^6 个神经元，因此即使是每个体素的读出描述的也是一个区域而不是一个细胞。NEURRATOR 共享了这种针对每个单元的目标，但操作精细度提高了三个数量级，是在分子细胞类型身份可以独立恢复的底物上进行的，并产生每次试验的轨迹而不是单一的调谐总结。

稀疏自编码器作为视觉-语言空间的探针。稀疏自编码器（SAE）将密集的嵌入激活分解为稀疏激活的、可解释的特征方向字典 [27, 28]，将向量值的激活转换为在命名概念上的稀疏分布。目前，SAE 是我们拥有的解释学习表征的最有效工具 [27, 44, 45]。然而，迄今为止，这项技术几乎完全是向内应用的，应用于基础模型本身的激活，而不是用作探测这些模型旨在阐明的神经系统的探针。迄今为止，SAE 及相关方法用于神经数据可解释性的少数应用仅在间接的、群体平均的信号（如钙成像或局部场电位）上运行 [46, 47]，这些信号整合了许多细胞，并且缺乏脉冲活动的时间精度。NEURRATOR 在单神经元脉冲序列的水平上建立了这种联系：因为脉冲被投影到 SAE 运行的同一个共享视觉-语言空间中，生物群体活动可以同时被读出为自由形式的句子和在命名视觉概念上的稀疏分布，两者都产生于相同的神经侧嵌入。

细胞类型身份作为输入而非输出。越来越多的工作将体内细胞类型和大脑区域身份视为在细胞外特征上训练的分类器的输出，使用波形形状和脉冲序列统计数据的无监督多模态嵌入 [48]、针对光遗传学真实标签校准的监督分类器 [49]、多模态对比预训练 [50]，或重新用作少样本亚型分类器的通用视觉-语言模型 [51]。在每种情况下，身份标签都是分析的终点。NEURRATOR 采取了互补的观点：细胞类型和大脑区域身份（无论是从光遗传学标记或上述任何方法获得的）作为输入进入模型，并且模型返回自由形式的描述，说明该亚群的活动在给定试验中编码了什么。因此，NEURRATOR 将细胞类型身份从分类目标重新构想为神经系统的功能探针。

3 方法

3.1 NEURRATOR 框架

NEURRATOR 通过视觉-语言模型的嵌入空间路由神经活动，将使用高密度 Neuropixels 探针 [31] 记录的脉冲序列映射到动物正在观看的视觉刺激的自然语言描述。通过 Allen 研究所质量控制的所有单单元的脉冲计数被分箱，并仅使用训练重复的统计数据对每个神经元进行 z-score 标准化，然后将一小段活动窗口输入到可训练的 NEURRATOR 编码器（图 2）。编码器的输出是一个图像块嵌入张量，其形状与 CLIP ViT-L/14 [21] 在真实电影帧的倒数第二层产生的形状完全相同：576 个图像块 token（一个 24 × 24 的网格），维度为 1024。这个图像块张量是大脑和语言之间唯一的学习接口：它被原封不动地交给一个冻结的 LLaVA-1.5-7B [26]，其视觉塔在运行时通过前向钩子（PatchInjector；图 2）被绕过。多模态投影器和 LLaMA-2-7B 解码器 [52] 像标准图像字幕生成一样运行，将神经衍生的图像块视为由实际图像产生的。语言模型的任何部分都从未在神经数据上进行过训练。编码器本身使用多尺度 1-D 卷积脉冲序列前端、时间窗口上的小型 transformer、注意力加权的时间池化，以及 576 个学习到的图像块查询，这些查询交叉关注池化表征，为每个 CLIP 图像块生成一个 1024 维的嵌入；完整细节在附录 A.2 中。

3.2 数据集

我们使用来自 Allen 脑天文台视觉编码 Neuropixels 发布版 [30] 的 16 个记录会话（脑天文台 1.1 子集，这是唯一包含自然刺激的协议）。每只小鼠在同一记录期间观看三类自然内容：自然电影一（NM1；30 秒片段，30Hz 下 900 帧，20 次重复）、自然电影三（NM3；120 秒，3600 帧，10 次重复）和自然场景（118 张灰度照片，每张约呈现 50 次）。对于细胞类型分析，我们与 Siegle 等人的光遗传学标记（optotagging）表进行交叉，在整个队列中产生了 73 个 PV、49 个 SST 和 33 个 VIP 光遗传学标记神经元；通过对齐基因型的跨会话光遗传学标记列进行拼接来构建帧对齐的伪小鼠（pseudo-mice）。完整数据集、光遗传学标记标准和伪小鼠构建细节在附录 A.3 中。

4 结果

4.1 从脉冲到句子在语义上是连贯的，并且能泛化到留出的帧

自然视觉刺激的自然语言语义解码：NEURRATOR 仅凭单神经元脉冲序列就能生成内容准确的自然电影自然语言叙述（图 3）。为了证明这些叙述反映的是视觉流而不是对训练帧的记忆，我们评估了两个压力测试数据划分，其中电影的整个区块被排除在语言解码器训练之外。在连续中间模式（contiguous-middle regime）下，第 250–449 帧（一个连续约 6.7 秒的场景）被留出，迫使解码器从时间上遥远的训练上下文中对未见过的场景进行插值；在仅前部模式（front-only regime）下，训练被限制在前 200 帧，其余 700 帧必须进行外推。

在这两种模式下，留出帧上的解码叙述在语义上仍与视觉内容保持一致。我们使用 Sentence-BERT (SBERT) 作为衡量其语义相似度的指标（SBERT 余弦值：一个句子级别的语义相似度得分，范围在 [-1, 1] 之间，其中 ~1 表示两个句子在语义上相等，~0 表示它们不相关）[53]。在连续中间测试块上，解码叙述与 BLIP-2 参考字幕之间的平均 SBERT 余弦值为 0.367 ± 0.180（n = 200 帧），而乱词基线为 0.020 ± 0.077（Δ = +0.347, p < 0.001）。仅前部模式需要跨越 >3 倍训练范围的外推，仍然产生了 0.170 ± 0.085 的得分，而随机基线为 0.062 ± 0.073（Δ = +0.108, p < 0.001）。对示例叙述的检查（图 3，缩略图）证实，解码的句子在未见过的帧上正确恢复了场景级结构——停车场布局（第 316 帧：“一个停着一辆车的开放式房间”）、室内场景（第 383 帧：“一个昏暗的房间里有人坐在椅子上”），以及外推模式下的建筑细节（第 857 帧：“图像显示一个房间，有一个大窗户和一个小窗户”）。语义准确性曲线进一步显示，解码质量在训练/测试边界附近最高，并随着与训练上下文距离的增加而平滑下降。

在不同的电影（NM3）上复制整个流程，产生了描述该电影独特内容（人、西装、自行车、群体）的叙述，无需重新训练语言解码器，也没有特定于刺激的先验（图 A2）。据我们所知，此前没有工作从单单元电生理学中产生过视觉流的自由形式自然语言描述，也没有证明此类描述能泛化到留出的场景。

4.2 视觉区域语义解码的规模效应

叙述保真度随种群规模缩放，并需要约个视觉驱动的神经元。图 4 绘制了解码叙述与真实标题之间留出集（held-out）的 SBERT 相似度随输入种群大小变化的曲线，并按解剖学池（anatomical pool）进行了细分。在所有视觉区域（V1、高级视觉皮层、LGD 以及视觉皮层的并集）中，叙述质量在对数轴上呈单调递增，从约 10 个神经元时的接近随机水平开始上升，并在整个测试范围内持续攀升，在最大种群规模时达到约 0.45 的 SBERT 余弦值，且未显示出饱和迹象。SBERT ≈ 0.28 处的虚线标记了随机标题与真实标题对比的得分——在这个水平上，解码出的句子所携带的场景特定内容，并不比任何通用英语句子偶然携带的更多。视觉池只有当数十个到约 10^2 个神经元进入编码器时才跨越这一底线：V1 是最有效的（约 30 个神经元），高级视觉皮层和 LGD 在 50-100 个时跨越，而异质性全神经元池仅在约 100 个时才跨越。低于这一范围时，解码出的叙述处于随机标题基线或低于该基线，并且读出（readout）尚未确立语义基础。作为非视觉对照纳入的海马体，在整个测试范围内从未跨越随机标题线，这与被动观看自然电影时几乎没有刺激锁定的视觉内容相一致。值得注意的是，在匹配的种群大小下，全神经元池落后于纯视觉池，这表明叙述保真度的瓶颈在于视觉驱动神经元的数量，而不是原始尖峰计数。

区域池化发生坍缩；细胞类型池化发生分离。 接下来，我们探讨了不同的亚群是否会对同一刺激产生语义上不同的叙述。通过按解剖区域（V1、高级视觉皮层、LGD、海马体、所有视觉皮层）或按基因标记细胞（PV、SST、VIP）对神经元进行池化，我们计算了各叙述集之间的成对 SBERT 余弦相似度，并观察到两种模式（图 5）。在区域层面，所有视觉区域都坍缩（聚集）到单一的语义簇中（成对余弦相似度为 0.69–0.79），只有海马体下降至接近打乱配对（shuffled-pair）的底线——仅凭解剖学是把握叙述内容的一个弱抓手。在细胞类型层面，情况发生了反转：PV 和 SST 的叙述适度对齐（0.58），但 VIP 与两者均发生分离（与 PV 为 0.34，与 SST 为 0.41）。这种叙述层面的细胞类型差异是我们发现工具应用（第 5 节）的切入点。

5 应用：细胞类型特异性的语义探究

图 5 中的细胞类型差异表明，基因定义的群体携带了对同一刺激在语义上不同的读出（readouts），但这并没有告诉我们每个群体正在编码什么。我们进一步利用 NEURRATOR 的子集查询（subset-query）特性来测试这一点：由于编码器对输入神经元具有均匀性（uniform），同一个训练好的模型在推理时可以仅限于选定的群体，并用语言询问，仅透过这些细胞的“镜头”看到的视觉世界是什么样子的。我们将此应用于文献 [30] 中的三个光标记（optotagged）抑制性群体（PV、SST 和 VIP 中间神经元，详见第 3.2 节），并探究它们的叙述差异是否对应于可识别的视觉概念。由于每个 Cre 品系在每次实验（session）中仅产生几十个光标记单元，我们通过拼接同一品系跨实验的光标记列（columns），为每个基因型构建了一个帧对齐的“伪小鼠”（pseudo-mouse），之所以可行是因为每只动物观看的是完全相同的 NM1 帧序列。随后，对每个伪群体（pseudo-population）使用同一个训练好的 NEURRATOR 进行一次查询。

光标记细胞类型产生语义上截然不同的叙述。 将群体标签从解剖学转换为遗传身份，反转了在区域层面看到的图景。为了比较这三个细胞类型池对同一部电影的描述，我们计算了它们在 NM1 上解码出的叙述之间的 SBERT 余弦相似度。PV 和 SST 的叙述保持适度对齐（平均 0.58），而 VIP 则与两者都分离（图 5，右）。同样的差距也出现在单个词汇使用的层面上：在自然场景（Natural Scenes）中，最具区分度的词汇（相对于其他两个群体具有最高的对数几率）对于 PV 是 tree / foreground / background（树/前景/背景），对于 SST 是 building / boat / water（建筑/船/水），对于 VIP 是 scene / lot / bushes（场景/地段/灌木丛），并且一个基于叙述嵌入训练的简单三分类器可以以 76% 的准确率识别出源细胞类型（随机概率 33%，p < 10⁻⁴）。在 NM1 上，将解码出的句子投射到“黑暗或阴影”和“汽车或车辆”轴上（即测量每个解码叙述随时间提及这两个概念的强度）表明，所有三个群体都追踪了电影的总体内容，但具有不同的基线和振幅（图 7）。这种差距在单句层面最为明显（图 6）：在同一个 NM1 帧上，PV 和 SST 通常会产生内容准确的描述，风格类似于“一辆车停在停车场，司机正从车里出来”，而 VIP 将同一场景描述为“一个黑暗的房间，有一个单一光源，在墙上投下阴影”——这是对同一视觉输入的一种关于光照和氛围的解读。

每种细胞类型实际上“看”到了什么？ 叙述暗示了差异，但没有揭示驱动它们的底层视觉内容。为了恢复可识别的视觉概念，我们转向 SAEs（稀疏自动编码器），这是目前我们解释学习表征最有效的工具 [28]：一个小型无监督模型将高维嵌入分解为一个更大的特征字典，每次输入只有少数几个特征激活，因此可以单独检查每一个。我们使用在 CLIP B/32 第 11 层残差流上预训练的 Prisma-Multimodal SAE（可访问 49,152 个特征），并将每种细胞类型的 NEURRATOR 补丁预测通过它。对于每种细胞类型，我们根据 NM1 测试 bins（时间窗口/数据块）的平均激活对特征进行排名，并保留前 20 个；仅出现在单一细胞类型前 20 名中的特征，我们称之为 unique-by-magnitude（按幅度唯一）。为了在不泄露叙述本身信息的情况下标记这些特征，我们在一个保留语料库（50,000 张图像的 ImageNet-1k 集合 [54]）上运行 SAE，并将统一其前 32 个激活图像的视觉概念分配给每个特征。

生成的字典沿可解释的轴分离了这三个群体（图 8）。PV 细胞独特地强调 small rounded objects（小圆形物体）的特征：婴儿、小猫、茶壶、烤面包机、家居用品。SST 细胞强调 vehicles（车辆）——特别是经典车和跑车，这是 NM1 黑色电影的主要内容。VIP 细胞强调某种与物体正交（object-orthogonal）的东西：venue lighting and atmosphere（场地光照和氛围）。它们的独特特征在明亮市场灯光下的农产品展示和带有舞台照明的黑暗体育/音乐会场馆上激活，没有一致的物体类别。最独特的 VIP 特征（26984，“黑暗场馆中的明亮舞台/体育场灯光”）在 VIP 中的激活强度比 PV 或 SST 高 29%。SST 区分场景中的 cars（汽车），而 VIP 区分同一场景的 lighting（光照）。光照和氛围的读出并不是我们 a priori（先验）预测的：先前的工作确立了 VIP 中间神经元作为由行为状态和强化信号招募的抑制性皮层增益控制的介质 [55, 56]，但没有具体说明它们的活动应与什么视觉内容共变。因此，我们的发现最好被解读为一个初步观察，可能补充这一文献（指向 VIP 介导的增益调节与场景级亮度和对比度统计编码之间可能的联系），并且在保证机制性声明之前需要直接的电路级后续研究。

因此，将 NEURRATOR 指向神经元的标记子集——光标记的或其他——会返回一个可解释的概念字典，其中每个条目都带有一个定量权重和一组自然图像示例，并且其中特定于群体的条目在重采样下是稳定的。上面的 PV / SST / VIP 对比是端到端产生的，没有任何细胞类型感知的训练步骤：编码器、语言解码器和 SAE 都是在从未被告知哪个神经元属于哪个遗传品系的情况下训练的。

6 结论

我们引入了 NEURRATOR，这是一个单一的训练模型，它将小鼠视觉皮层中任意神经元子集的尖峰序列转化为所观看场景的自由形式自然语言叙述，无需语言侧训练，也无需特定于刺激的先验。同一个模型可以在数千个神经元、单一皮层区域、局部神经元群或单一分子定义细胞类型的规模上进行查询，这使得编码器而非解码器成为生物学分析的基本单元。除了这一能力本身，该框架还引入了一个评估流程，用于控制记忆、时间自相关和生物学合理性（留出场景、海马对照、打乱标签、排除区检索），以及一种稀疏自动编码器分析 [28, 57, 58, 29]，该分析从细胞类型特异性的解码中提取出可解释的概念级特征。 局限性。NEURRATOR 是在单一物种、视觉皮层和较小的刺激词汇库上训练的；细胞类型分析依赖于通过帧对齐的“伪小鼠”跨多只小鼠进行池化的 40-100 个神经元的光标记群，并且我们尚未测试这些细胞类型差异在单一动物体内是否依然成立。解码出的叙述描述的是整体场景内容而非精细的感知细节，且我们的概念轴验证是相关性的。稀疏自动编码器是直接采用纯 CLIP 流程中现成的模型，并未与神经编码器进行联合训练。 未来工作。自然的下一步是将 NEURRATOR 扩展到视觉皮层和小鼠之外——扩展至听觉和体感记录，扩展至非人灵长类和人类的单单元数据，以及扩展至行为丰富的范式，在这些范式中，解码出的叙述可以与任务变量和逐次试验的选择相对齐。然而，最大的机遇可能在于那些人类缺乏对刺激空间直观理解的模态——最突出的是嗅觉，它缺乏公认的气味参数化 [59]，以及更广泛的化学感觉。正是在这些领域，将神经活动直接解码为语言，可能提供了一条通往人类实际能够理解的表征的最短路径。细胞类型探究流程可扩展至任何标记的神经元子集（遗传、解剖、功能或连接定义的），若将其与闭环光遗传扰动相结合，就能将解码出的概念字典转化为因果抓手。最后，将稀疏瓶颈与神经编码器进行联合训练 [60]，而不是重用预训练的 CLIP SAE，为发现存在于神经活动中但缺失于视觉-语言先验中的概念打开了大门——我们认为，这是将语言模型作为神经科学发现的系统性工具的最具前景的路径。

原文链接：https://arxiv.org/pdf/2606.18667