Nature子刊综述：大脑预测误差的核心回路

基本信息

Title:Meta-analysis of human prediction error for incentives, perception, cognition, and action

发表时间：2022.1.11

Journal:neuropsychopharmacology

影响因子：7.1

省流总结

预测误差（Prediction Error, PE）指的是预期结果与实际结果之间的差异，是学习和决策的重要驱动力。其最早在奖赏学习中被发现，与中脑多巴胺系统的活动密切相关；近年来研究进一步扩展到知觉 (perceptual)、社会 (social)、语言 (linguistic)和因果推理 (causal inferences)等领域。关键问题在于：这些不同类型的PE究竟共享同一套神经机制，还是各有特异通路？

为此，作者对1999–2018年间264项fMRI研究进行了多水平核密度(multi-level kernel-based density, MKDA)元分析。结果显示，中脑 (midbrain)和岛叶 (insula)是跨领域的核心区域，几乎所有类型的PE都能在此找到信号；与此同时，也存在领域特异性，例如视觉系统在视觉PE中活跃，背内侧前额叶则主要参与社会推理中的PE。

整体来看，研究揭示了PE在大脑中的“双重模式”：既有跨领域的通用机制，又包含任务特定的差异性。这一发现有助于深化我们对认知加工的理解，并为未来的计算建模和临床研究提供框架。

研究方法

基于MKDA 的元分析

检索策略：按照PRISMA框架，在Google Scholar逐年（1999–2018）检索关键词“prediction error”“reinforcement learning”等，并辅以前向引用追踪、参考文献回溯和Neurosynth数据库搜索。

纳入标准：仅限成人被试、fMRI实验、报告Talairach或MNI坐标、使用图像减法或模型参数计算得到PE激活的研究。排除了动物实验、药物/基因研究、纯ROI研究、临床群体等。

样本规模：最终纳入263篇论文，464个对比，6454名被试

注释：作者的元分析方法完全参考 MKDA 的标准流程，具体实施细节我们不过多讨论，重点放在后续的分析方法和结果讨论上

PE类型的分类框架和编码规则

为了便于后续不同类型 PE 的比较，作者在 Table 1 中对 PE 做了系统划分。最核心的是区分典型的奖赏预测误差(RPE) 和非典型的预测误差。

典型的就是我们熟知的基于奖赏/惩罚的信号，而非典型则进一步细分为认知型、感知型等。除此之外，作者还对每个研究的 PE 做了多维度的标注，比如有符号PE or 绝对值PE、Instrumental or Pavlovian、趋利的 or 厌恶、ROI or whole-brain。这一分类框架为元分析建立了“标签体系”，后面所有结果部分的对比与共轭分析，都是基于这个为依据展开的。

核心结果

结果部分的逻辑：作者首先展示了将所有研究合并后的全局预测误差（PE）分布，勾勒出跨领域共享的核心网络；在此基础上，作者再利用 Table 1 的分类框架，对不同领域的PE（如初级/次级奖赏、趋利/厌恶、认知/感知等）进行分组比较，从而揭示共享机制与领域特异性并存的格局。

结果1：整体结果 (Omnibus contrast)

Fig. 1 Prediction error brain regions across studies.

Figure 1 显示：midbrain, striatum, thalamus, insula, claustrum, dorsomedial prefrontal cortex, ventrolateral PFC, dorsolateral prefrontal cortex (dlPFC), parietal cortex, precuneus, orbitofrontal cortex, occipital cortex, and anterior cingulate；上述脑区在不同类型的任务中均一致激活，可以视为跨领域的PE核心脑区

结果2：Reward、Cognitive 与 Perceptual 预测误差的神经表征

Fig. 2 Typical, perceptual, and cognitive prediction errors.

接下来，在 Fig. 2 中，作者进一步区分了不同类型的PE，比较了典型的奖励PE（2A）、认知PE（2B）和感知PE（2C），并将这三种类型的PE进行了共轭分析（2D）。结果显示，三者既有差异，也存在共性：

• 奖励PE更多涉及中脑、前扣带和纹状体，符合强化学习模型的预期；
• 认知PE突出前额叶调控区，如背内侧和腹外侧前额叶；
• 感知PE则沿视觉和顶叶通路展开，反映了感觉层级中的预测加工；
• 三者的共轭分析发现，它们共享纹状体、岛叶和腹外侧前额叶等区域，说明存在一个跨领域的预测误差核心网络。

结果3：Instrumental 与 Pavlovian 预测误差的神经表征

Fig. 3 Instrumental and Pavlovian prediction errors.

作者接着比较了 工具性学习（Instrumental） 与 巴甫洛夫式学习（Pavlovian）。这两种模式在概念上有一些细微的区别，工具性学习（Instrumental learning）的核心是个体通过自己的行为与环境交互，是主动行为驱动的学习；而巴甫洛夫式学习是个体通过环境线索和结果的联结来学习，依赖于 “刺激–结果” 的联系，与个体的行动无关。两者在真实学习中往往并存，因此对比具有重要意义，结果表明：

• Instrumental PE (3A)：除了经典的纹状体、中脑和岛叶，还涉及更广泛的前额叶（vmPFC, dmPFC, dlPFC）、前后扣带和顶叶皮层 → 显示出更依赖行动与决策相关的前额叶网络。
• Pavlovian PE (3B)：同样激活纹状体、中脑和岛叶，但更多涉及杏仁核、海马旁回、丘脑、以及外侧前额叶等 → 反映其更偏向情绪和刺激–结果关联的加工。
• Instrumental > Pavlovian (3C)：工具性学习更依赖前额叶–顶叶–扣带的执行控制通路；巴甫洛夫学习则更多招募杏仁核和颞叶结构。
• 共轭分析-Conjunction(3D)：发现共享核心在纹状体、中脑和岛叶 → 说明存在一个基本的预测误差电路。

结果4：Social 与 Non-social 预测误差的神经表征

Fig. 4 Social and unsigned prediction errors.

作者接着分析了 社会性预测误差（Social PE），并将其与 非社会性预测误差（Non-social PE） 进行比较。社会性预测误差指的是在推理他人意图或信念时出现的“预期与结果不符”，而非社会性预测误差则涵盖奖励、认知、感知等常见的PE类型。而在而社会推理（social inference）中，很多时候我们并不是在计算“正/负的差值”，而是在评估对他人行为预测的可靠性，更贴近 unsigned PE 不带方向，只反映差异大小的逻辑。因此比较三者有助于回答一个关键问题：社会推理是否依赖于专门的“社会脑”回路，还是借用了通用的预测误差机制？结果表明：

• Social PE (4A)：激活内侧前额叶（mPFC）、背内侧前额叶（dmPFC）、纹状体和岛叶等区域 → 显示其与社会推理和心智理论相关的前额叶网络。
• Unsigned PE (4B)：同样涉及纹状体、中脑、岛叶、前扣带和背内侧前额叶等 → 提示精确加权的PE机制在社会与非社会领域可能是共享的。
• Social > Non-social (4C)：社会性PE更强烈地招募了dmPFC、mPFC和前扣带，这些区域长期被认为与“推理他人心理状态”有关；而非社会性PE则更依赖纹状体、丘脑、岛叶和后扣带。
• Conjunction (4D)：社会与非社会PE在纹状体、岛叶和腹外侧前额叶等区域高度重叠 → 支持“社会推理可能依赖通用的预测误差机制”，而不是完全独立的社会模块。

结果5：ROI 与 Whole-brain预测误差的神经表征

Fig. 5 Prediction errors from whole brain and region of interest analyses.

作者最后分析了 ROI（region of interest）研究 与 全脑分析（whole-brain analyses） 的差异。之所以要做这个比较，是因为在预测误差的研究中，许多早期工作往往只在经典奖赏回路（如纹状体、中脑）设定ROI进行分析，这可能导致研究结果只在“灯下”找信号，而忽略了潜在的全脑分布。ROI vs. Whole-brain 的结果表明：

• Whole-brain analyses (5A)：不仅观察到纹状体、中脑和岛叶，还广泛发现了额叶（dlPFC、mPFC）、顶叶、视觉皮层以及扣带等区域的PE信号。
• ROI analyses (5B)：多数集中在纹状体和中脑等经典奖励相关区域，信号分布范围明显更窄。
• Whole-brain > ROI (5C)：直接对比显示，全脑分析揭示了更多额叶、岛叶、顶叶、颞叶和枕叶的PE激活，说明ROI方法可能低估了PE在皮层的广泛存在。

这组分析表明：虽然ROI方法有助于验证经典动物电生理发现，但若只局限于ROI可能错过了PE在全脑范围的更丰富表征。全脑分析揭示了 额叶–顶叶–视觉皮层 等新兴的预测误差靶点，这为未来人类研究（例如经颅磁刺激或临床应用）提供了更广的探索空间。

总结与讨论

本研究揭示了三个重要的机制性启示。

• 首先，作者识别出一个跨领域的核心预测误差回路，包括纹状体、岛叶以及可能的中脑。这一回路在知觉、认知、行动以及社会和非社会任务中共享，提示其作为一种通用的预测误差处理机制，或许还能作为跨物种研究的关键翻译枢纽。
• 其次除了共享回路外，研究也发现了不同领域具有各自独特的预测误差机制。例如，视觉加工中的预测误差在视觉皮层层级有明显的表征，而社会性预测误差则在前额叶，尤其是背内侧前额叶，展现出更强的反应。这些发现不仅有助于理解正常的认知加工，还可能为解释精神疾病患者中常见的社会缺陷或感知异常提供线索。
• 第三作者对ROI-based研究方法进行了反思他们认为以往研究中过度依赖预设的ROI分析（集中在纹状体和中脑）可能限制了对人类大脑中预测误差信号的全面理解。相较之下，全脑分析揭示了额叶、顶叶以及视觉皮层等更多区域的参与，这为未来通过非侵入性刺激手段（如TMS）来探究预测误差机制提供了新的可能。
• 进一步地，作者认为这些发现不仅对人类研究具有意义，也对动物实验和人工智能发展有所启发对于动物研究而言，结果提示应在经典奖赏回路之外关注更多脑区，从而更精细地描绘预测误差的神经回路。对于人类研究，这些全脑图谱可以帮助研究者更好地选择实验任务、分析方法或感兴趣的回路，从而有针对性地检验特定的预测误差功能或异常。与此同时，通过揭示大脑可能实现预测误差计算的算法与神经机制，本研究的数据也为发展类人化的人工智能提供了新的参考。更重要的是，这项工作展示了功能影像学如何为认知模型提供具体而可检验的证据，回应了fMRI只能做相关性描述、无法揭示机制的质疑（More broadly, we answer critics of fMRI by offering concrete examples of functional imaging data informing models of cognitive function, proffering new testable predictions，真的回应了吗…？）。

Author information

第一作者兼通讯作者：Philip R. Corlett

Department of Psychiatry, Yale University, New Haven, CT, USA

耶鲁大学精神病学系，（美国康涅狄格州纽黑文）

共一第二：Jessica A. Mollick

通讯地址同上

最后通讯：Hedy Kober

通讯地址同上

Abstract

Prediction errors (PEs) are a keystone for computational neuroscience. Their association with midbrain neural firing has been confirmed across species and has inspired the construction of artificial intelligence that can outperform humans. However, there is still much to learn. Here, we leverage the wealth of human PE data acquired in the functional neuroimaging setting in service of a deeper understanding, using an MKDA (multi-level kernel-based density) meta-analysis. Studies were identified with Google Scholar, and we included studies with healthy adult participants that reported activation coordinates corresponding to PEs published between 1999–2018. Across 264 PE studies that have focused on reward, punishment, action, cognition, and perception, consistent with domain-general theoretical models of prediction error we found midbrain PE signals during cognitive and reward learning tasks, and an insula PE signal for perceptual, social, cognitive, and reward prediction errors. There was evidence for domain-specific error signals––in the visual hierarchy during visual perception, and the dorsomedial prefrontal cortex during social inference. We assessed bias following prior neuroimaging meta-analyses and used family-wise error correction for multiple comparisons. This organization of computation by region will be invaluable in building and testing mechanistic models of cognitive function and dysfunction in machines, humans, and other animals. Limitations include small sample sizes and ROI masking in some included studies, which we addressed by weighting each study by sample size, and directly comparing whole brain vs. ROI-based results