前沿速递 | 奖励压缩、内在奖励、多巴胺与屏状核：Nat Commun、Nat Hum Behav 等四篇新研究

● 认知神经科学前沿文献分享

本期介绍四篇与学习、奖励有关的新研究。前两篇是人类行为加计算建模：一篇看学习目标变多时，把目标归纳成一条简单规则能不能减轻负担；一篇看“觉得自己答得准”这种感觉，会不会像奖励一样改变下一轮视觉资源的分配。后两篇看神经信号：一篇在小鼠里同时记录多巴胺释放和 fMRI 的 BOLD 信号，看它们怎样随学习一起变化；一篇记录癫痫患者屏状核的单神经元，看它们编码了哪些和不确定性、预测误差有关的信息。

目标越多会拖慢学习，规则化能改善表现吗？

● 关键词：奖励函数压缩｜目标依赖强化学习｜工作记忆｜目标空间｜计算建模

Reward function compression facilitates goal-dependent reinforcement learning
DOI：https://doi.org/10.1038/s41467-026-78295-1
作者：Gaia Molinaro、Anne G. E. Collins
通讯作者及单位：Gaia Molinaro（University of California, Berkeley）
期刊：Nature Communications

学习新规则时，我们不只要记住哪个按键对应哪张图，还要判断眼前的反馈是不是自己想要的结果。目标越多，这个判断会不会挤占学习本身的资源？如果不同的目标可以归纳成一条简单规则，情况会不会改变？这是 Molinaro 和 Collins 想回答的问题。

参与者在线完成任务，要学会六张图片分别对应三个键。反馈有两种：Points 区块用 +1 或 +0 的积分，Goals 区块每轮先出现一对标有“目标”和“非目标”的抽象图，参与者还要按另一个键收集目标结果。实验 1 有54人，把每个 Goals 区块的目标图对数设为1到4组。即使只和最简单的单目标区块比，Goals 的学习表现也低于 Points，目标图越多，正确率越低；目标结果的辨别能力在两种反馈之间没有差别，提示困难主要出现在把反馈纳入图片和按键关系的学习过程里。

实验 2 有51人，保持目标图的数量和出现次数相同，只改变目标空间能不能被简单规则概括。Compressible 区块只要依据一个特征区分目标，Incompressible 区块则要同时考虑形状、颜色和填充，前者的学习正确率更高。练习后，奖励收集的反应时间从约422毫秒降到316毫秒，可压缩条件下降得更多，区块之间的学习差异与反应时间差异相关。把反应时间接入学习率的模型，比接入选择噪声的模型更能拟合行为，作者据此认为，瓶颈更接近结果评价和价值更新。

主文还概述了四个补充实验：目标图每轮更换时，压缩无法形成，目标学习更费力；目标图保持一致时，学习后来接近积分条件。奖励函数压缩是行为结果和计算模型共同支持的一种可能机制，反应时间与学习的关系仍然是相关，规则怎样形成、怎样转入长期记忆也没有被直接测量。样本主要是大学本科生，任务和目标材料经过高度简化。

感觉自己答得准，会让下一次视觉资源偏向同一种刺激吗？

● 关键词：内在奖励｜置信度｜视觉资源分配｜随机点运动｜强化学习

Intrinsic rewards guide visual resource allocation via reinforcement learning
DOI：https://doi.org/10.1038/s41562-026-02573-7
作者：Ivan Tomić、Rodrigo Raimundo、Paul M. Bays
通讯作者及单位：Ivan Tomić、Paul M. Bays（剑桥大学心理学系）
期刊：Nature Human Behaviour

如果一个刺激刚刚让你觉得自己答得很准，下一次再看到它，你会不会把更多视觉资源留给它？这项研究把“觉得自己答得准”当作一种内在奖励（intrinsic reward），问它会不会改变之后对同类刺激的资源分配。

研究共纳入215名成年人。每一轮，屏幕上出现两个颜色不同的随机点运动图，短暂消失后，颜色提示其中一个，参与者用鼠标复现它的运动方向。研究者用平均绝对偏差衡量误差，再用归一化神经资源模型估计两个刺激各得到多少资源。第一项实验给一种颜色的准确回答15分、另一种5分；后面的实验把一种颜色的反馈误差缩小、另一种放大，制造“容易”或“困难”的感觉，或者改变两种颜色的运动清晰度。

拿到15分的颜色，复现误差更小，模型估计它获得的资源也更多。反馈误差被缩小的颜色，复现得更准，分到的资源略多，约为另一种颜色的1.18倍；运动更清晰的颜色，资源比例在线上实验约为1.76比1，实验室同时呈现条件约为1.61比1。把刺激依次呈现后，这些差异不再明显，提示效果依赖同时编码时的竞争。这样分配资源，并没有让当前任务的总体误差最低。研究者把过去每轮的得分、反馈误差或模型推断出的内部置信度，放进强化学习规则，更新每种颜色的价值来预测下一轮资源分配，预测与直接从行为误差估计出的分配高度一致。作者据此提出，准确感和由反馈形成的容易感，都可以像奖励一样积累，推动资源偏向同一种刺激。

研究没有直接让参与者报告每一轮的置信度，而是通过反馈操纵和模型估计来近似内在奖励，结论对应的是受控的运动方向复现任务。

学会一盏灯会有水后，伏隔核的 BOLD 反应会提前吗？

● 关键词：多巴胺｜伏隔核｜BOLD｜关联学习｜功能磁共振成像｜光纤光度法

Dopamine release-associated striatal blood oxygenation and whole-brain dynamics during associative learning
DOI：https://doi.org/10.1126/sciadv.aed0935
作者：Amir Lawen、Isabella K. Succi、Daniela Lichtman、Darcy S. Peterka、Ishmail J. Abdus-Saboor、Itamar Kahn
通讯作者及单位：Itamar Kahn（哥伦比亚大学）
期刊：Science Advances，2026-10-07

看到一盏灯就开始期待水，和真正喝到水，是学习里的两个时刻。功能磁共振成像（functional magnetic resonance imaging，fMRI）测到的血氧水平依赖（blood oxygenation level dependent，BOLD）信号，怎样跟着这种学习变化，还不清楚。Lawen 等人要问的是，伏隔核（nucleus accumbens，NAc）的 BOLD 反应会不会随着线索与奖励的联系形成而改变时间节奏，以及它和多巴胺释放是否同步。

18只雄性小鼠在清醒、头部固定的状态下接受扫描，连续训练10天：蓝光亮起1.5秒，1.25秒后给3微升水，同时记录舔水。部分小鼠在 NAc 里植入多巴胺荧光探针，用光纤光度法同步记录多巴胺信号。第二阶段把水量随机设为1、3或6微升，比较不同奖励量下的 BOLD 和多巴胺反应，这一阶段共有22只小鼠，其中5只没有参加前面的学习阶段。

舔水行为逐渐显示出小鼠学会了这层联系，用 S 形（sigmoid）曲线拟合预期舔水的变化，拐点平均出现在第5.75天。学习早期，NAc 拟合出的血流动力学反应，达峰时间相对奖励送出约为1秒；训练后期缩短到约0.2秒，多巴胺信号也出现了相似的时间移动。预期舔水在第3至4天已经升高，而拟合出的达峰时间当时还没有显著移动。按多巴胺瞬变大小分组后，NAc 的 BOLD 反应随多巴胺信号强弱一起变化，最佳匹配接近零延迟。变动奖励任务里，线索后早期的 BOLD 反应在三种水量间几乎相同，奖励送出2.5秒后才出现按水量分级的差异，多巴胺也呈相同顺序；把多巴胺从 BOLD 中回归掉后，不同水量之间的差异不再显著（n=10）。作者据此认为，延迟的 BOLD 变化与多巴胺相关的奖励预测密切相连。

BOLD 与多巴胺信号之间只是对应关系：研究没有操纵多巴胺，因果方向未定。BOLD 反映的是血流动力学变化，实验也只用了雄性小鼠。

人对安全位置没把握时，屏状核神经元会跟着变吗？

● 关键词：屏状核｜不确定性｜预测误差｜前扣带皮层｜颅内单神经元记录

Human claustrum neurons encode uncertainty and prediction errors during aversive learning
DOI：https://doi.org/10.1038/s41593-026-02475-x
作者：Mingyue Hu、Rodrigo Dalvit、Mauricio Medina-Pizarro、Maximilian Dougherty、Yajun Zhou、Jonathan Barreto-Nieves、Sami Obaid、Arman Afrasiyabi、Smita Krishnaswamy、Alfred P. Kaye、Murat Gönel、John H. Krystal、Kevin N. Sheth、Xiaosi Gu、Christopher P. Pittenger、Toby Wise、Eyiyemisi C. Damisah（Mingyue Hu、Rodrigo Dalvit、Mauricio Medina-Pizarro 为共同第一作者）
通讯作者及单位：Eyiyemisi C. Damisah（耶鲁大学）
期刊：Nature Neuroscience

玩一局躲陨石的游戏，难处在于提前判断上下两条通道哪一条更可能安全，手速倒在其次。安全位置会变，撞上陨石会损失飞船的完整度，下一轮要不要换位置，取决于你对当前判断有多大把握。屏状核（claustrum，CLA）会不会跟踪这种把握，以及判断和结果不一致时的预测误差（prediction error，PE），是这项研究要问的问题。

Hu、Dalvit、Medina-Pizarro 等人在耶鲁癫痫中心记录了7名难治性癫痫患者的颅内单神经元活动，其中4人有屏状核记录，同时观察前扣带皮层（anterior cingulate cortex，ACC）和杏仁核。参与者操控飞船沿纵轴移动，躲避从两侧逼近的小行星。上下两个安全区的安全概率，在20—80个试次的区块里维持在90%或10%，再随机翻转，参与者要在小行星出现前，根据已经经历的结果调整位置。研究者用近似贝叶斯模型逐试次估计安全概率，把概率分布的后验方差作为主观不确定性，把实际结果与估计安全概率的绝对差作为 PE。

110个 CLA 神经元中，78个在小行星出现、躲避或撞击等任务事件附近改变放电，反应峰值早于 ACC。在按高低分位分组比较的量化分析里，31个 CLA 神经元（28.2%）在不确定性高的试次中放电更强，25个（22.7%）在预测误差大的试次中放电更强；ACC 则有17个神经元在不确定性低时放电更强，试次间隔期也是如此。另一种条件互信息（conditional mutual information，CMI）分析把飞船位置、安全区身份和行动结果作为任务变量加以控制，躲避期有10个 CLA 神经元与不确定性相关（与随机水平比较的单侧二项检验，P=0.049）；与预测误差相关的7个（P=0.312）、试次间隔期与不确定性相关的4个（P=0.806），以及 ACC 在试次间隔期与不确定性相关的6个（P=0.151），都没有超过随机水平。杏仁核在这项任务里的潜变量调制很少。作者据此提出，ACC 可能在下一轮开始前维持对信念可靠性的监测，CLA 则在需要快速躲避、结果即将揭晓时，跟踪不确定性和预期偏差。

关于 ACC 和 CLA 时间模式的这一解释，研究没有操纵这两个区域，不能据此建立因果关系。不确定性和 PE 在这个任务里本来就相互关联，CMI 分析虽然控制了飞船位置、安全区身份和行动结果，仍不能判断单个神经元是在独立编码其中之一，还是对二者的组合有反应。模型是行为数据上的近似推断，不等于大脑实际执行同一套算法，样本来自癫痫患者，结论只适用于被记录到的这批神经元。

分享人：天天
审核：PsyBrain 脑心前沿编辑部

● 原文信息与获取方式

获取原文：

1. 三连后添加小助手：PSY-Brain-Frontier 获取

2. 点击文中各篇论文的 DOI 链接，查看对应原文。

版权归属作者团队和出版社，本文仅做分享