Nat Human Behav｜觉得“做得好”也是一种奖励：内在奖赏如何改变视觉资源分配

● 认知神经科学前沿文献分享

论文信息：Intrinsic rewards guide visual resource allocation via reinforcement learning

发表时间：2026-10-01

发表期刊：Nature Human Behaviour

奖赏和视觉资源分配

外部奖赏与视觉资源分配：先前的研究已知，与金钱或食物等外部奖赏（external rewards）挂钩的视觉刺激会获得优先的注意力和视觉工作记忆资源分配。

研究空白——内在奖赏的作用：人类在日常生活中很多行为缺乏直接的外部奖赏。大脑内部产生的“胜任感”或对准确性的主观自信（subjective confidence / perceived competence）是否可以作为一种内在奖赏（intrinsic reward），并像外部奖赏一样影响强化学习（reinforcement learning, RL），进而偏置视觉资源的分配呢？

基于此，来自剑桥大学（University of Cambridge）的研究团队，设计了一系列的视觉实验，并结合计算模型，对如下两个具体问题进行了研究：

第一，内在奖赏是否会改变视觉资源的分配？

第二，这种基于奖赏的资源分配策略，是否符合总体误差最小化/收益最大化的“最优策略”（optimal allocation strategy）？

实验设计与结果

研究团队设计了一系列运动方向再现任务（analogue report motion reproduction task），通过操控不同条件来探索外部与内在奖赏对视觉资源分配的影响。

● 实验 1：外部奖赏操控（验证基线效应）

方法：呈现两种颜色的运动刺激（random dot kinematograms, RDK），若被试的再现误差 $< 50^\circ$，某种颜色可获得高分奖赏（15分），另一种颜色获得低分奖赏（5分）。

结果：被试对高奖赏颜色的再现误差（mean absolute deviation, MAD）显著更小，说明高奖赏颜色获得了更多视觉编码资源。

最优策略对比：被试对高/低奖赏刺激的资源分配比（高奖赏∶低奖赏）为 1∶0.695（倾向高奖赏）。但这比达到得分最大化的“最优分配”（1∶0.34）更为平均。

Fig. 1 中，作者展示了实验1对外部奖赏的操控；结果显示，被试对高奖赏颜色的再现误差更小，资源分配比（高奖赏∶低奖赏）为 1∶0.695，比最优分配（1∶0.34）更为平均。

● 实验 2：感知准确度操控（通过欺骗性反馈操控内在奖赏）

方法：不给予积分/金钱等外部奖赏，但对两种颜色刺激的试次反馈进行系统性操控——对一种颜色故意缩小显示误差（minified error，使被试感觉更简单），对另一种颜色放大显示误差（magnified error，使被试感觉更难）。

结果：

实验 2a（双刺激同时呈现）：被试对“缩小反馈误差（感觉更易）”的真实目标方向再现更精确（MAD 显著更低）。

实验 2b（双刺激顺序呈现）：当消除了编码阶段的注意竞争后，两者的再现精度差异消失，提示这一偏置主要来自编码阶段的注意竞争；竞争减弱后，不再按感知难度偏好编码。

实验 2c（与真实反馈对比）：结果支持：只缩小误差就足以使资源向该刺激倾斜；而放大误差的刺激并不比真实反馈的刺激更差。

反常的非最优现象：若要最小化整体反馈误差，最优策略应当把资源多给“感觉更难（误差被放大）”的一方。按 minified（更易）∶magnified（更难）计，最优分配为 0.52∶1。然而被试的分配方向与最优策略相反，将更多资源（1.18∶1）投向了本就“表现更好”的刺激，总体误差高于最优策略的预测。

Fig. 2 中，作者展示了实验2a对感知准确度的操控；结果显示，被试对缩小反馈误差的刺激再现更精确，并将更多资源（minified∶magnified = 1.18∶1）投向该刺激，与最优策略的方向相反。

● 实验 3：客观估计难度操控（无反馈，纯粹基于内在自信）

方法：不提供任何反馈。在大部分试次中，两种颜色的刺激分别对应高相干度（85%，简单）和低相干度（45%，困难）；在少量试次中，两种颜色的刺激相干度相同（65%，难度一致）。

结果：

在难度一致的测试试次中，被试对历史上总是较简单（高相干度）的那种颜色表现出更高的再现精度。

神经群体编码（归一化）模型估计显示，被试的资源分配比（简单∶困难）约为 1.76∶1。

再次偏离最优：为了最小化总体估计误差，最优策略应当是平均分配资源（1∶1），而被试对“简单”刺激的过分倾斜再次使总体误差高于最优策略的预测。

Fig. 4 中（对应实验3），作者展示了对客观估计难度的操控；结果显示，在难度一致的测试试次中，被试对历史上较简单的颜色再现精度更高，资源分配比（简单∶困难）约为 1.76∶1，而最优分配为 1∶1。

群体编码-强化学习计算模型

为阐明上述行为现象的计算机制，研究者将神经群体编码（归一化）模型（Normalization model）与强化学习规则结合：

第一，群体归一化编码：刺激由具有 von Mises 调谐曲线的神经元群体编码，总神经发放率（总增益）保持恒定，增益因子 $\alpha$ 控制两个刺激间分配的比例。

第二，复合奖赏价值更新（relative value updating）机制：定义逐个试次的相对价值 $v_t = (1-\gamma) v_{t-1} + \Delta_t$，其中 $\gamma$ 是泄漏系数，决定过去奖赏保留多少。复合奖赏 $\Delta_t$ 整合了外部奖赏（$r_{\text{ext}}$）、反馈误差（$\epsilon_{\text{fb}}$）以及内部信心估计所对应的内在奖赏（$\hat{\kappa}_r$）。

第三，从相对价值到神经资源的映射：相对价值通过指数变换转化为下一试次的增益因子 $\alpha_{t+1} = e^{2v_t}$。

第四，拟合表现：完全不基于奖赏、仅凭行为误差自由拟合得到的分配参数 $\alpha_{\text{observed}}$，与纯粹基于奖赏积累历史推算出的 $\alpha_{\text{predicted}}$ 高度相关（$r = 0.833 \sim 0.976$），且能够成功预测试次间行为误差的起伏。

Fig. 5 中，作者展示了强化学习模型示意：神经资源分配、相对价值更新、泄漏与奖赏权重对资源分配轨迹的影响；结果显示，模型把外部奖赏、反馈误差和内部信心估计所对应的内在奖赏整合为相对价值，再映射为下一试次的增益因子。

核心结论

第一，内在奖赏与视觉资源分配：作者提出，主观自信与感知到的准确性可作为内在奖赏信号，经强化学习规则塑造刺激特征的价值，进而调节编码阶段的资源分配；该结论依赖实验操纵与模型拟合。

第二，资源分配偏离了误差最小化策略：在这些任务中，基于奖赏的倾斜没有使总体误差最小，反而使本来更准的刺激更准、更差的更差；作者指出这类偏置可能具有适应意义，但在这里使总体准确率下降。结果支持资源分配随累积奖赏历史变化，不支持“按全局误差最小化来规划”。

原文信息
Tomić, I., Raimundo, R. & Bays, P.M. Intrinsic rewards guide visual resource allocation via reinforcement learning. Nat Hum Behav (2026).
DOI: https://doi.org/10.1038/s41562-026-02573-7

分享人：tianyu
审核：PsyBrain 脑心前沿编辑部

● 原文信息与获取方式

DOI：10.1038/s41562-026-02573-7

获取原文：

1. 三连后添加小助手：PSY-Brain-Frontier 获取

版权归属作者团队和出版社，本文仅做分享