人类和大型语言模型中的元认知和不确定性交流

人类和大型语言模型中的元认知和不确定性交流

Metacognition and Uncertainty Communication in Humans and Large Language Models

https://arxiv.org/pdf/2504.14045

摘要

元认知——监控和评估自身知识与表现的能力——是人类决策、学习和沟通的基础。随着大型语言模型（LLMs）越来越多地嵌入到高风险以及广泛的低风险情境中，评估它们是否、如何以及在多大程度上展现出元认知能力变得十分重要。在此，我们概述了当前关于LLM元认知能力的知识、可以如何对其进行研究，以及它们与我们关于人类元认知的知识之间的关系。我们发现，尽管人类和LLM在元认知能力和行为上有时显得相当一致，但显然仍存在许多差异；关注这些差异对于加强人类与AI的协作至关重要。最后，我们讨论了赋予未来LLM更敏感、更校准的元认知，如何也可能帮助它们发展新能力，例如更高效的学习、自我导向和好奇心。

1 引言

元认知是指人类监控、评估和调节自身认知过程与心理状态的能力。它是学习、决策和沟通的基础。在这一框架内，信心判断（confidence judgments）和不确定性表征（uncertainty representations）发挥着核心作用。信心是确定性的一种特定形式，涉及对给定选择是否正确的明确评估。因此，信心直接与评估自身决策相关联（Pouget 等，2016）。相比之下，不确定性可被视为对可能状态或结果的更广泛的内部表征，这种表征可能会被明确表达，也可能不会。因此，信心是不确定性的一种特定、外显的表达，这些概念共同为元认知提供了可测量的指标（Fleming, 2024; Pouget 等，2016）。

重要的是，信心不仅塑造个体自身的决策，还具有沟通功能。表达信心使人类能够进行有效协调，通过发出信号来表明他们的判断何时可能是值得信赖的，以及何时可能容易出错（Frith, 2012）。这种对不确定性的沟通使群体能够高效地整合知识，并在团队成员之间校准信任。人工智能（AI）的最新发展已将相当多的注意力集中在不确定性及其向人类用户的有效沟通上。特别是大型语言模型（LLMs），越来越多地扮演顾问角色，为各种询问提供建议、解释和答案。因此，LLM必须能够有效沟通不确定性，使人类能够适当地校准其对AI生成建议的依赖程度，并清楚地了解此类建议何时是可靠的（Steyvers 等，2025b; Steyvers & Kumar, 2024）。因此，了解LLM的元认知能力，并探索其沟通不确定性的能力，对于促进其在人类协作中的有效使用十分重要。

在此，我们结合人类文献，考察了关于LLM元认知能力的近期关键发现，重点介绍了评估内部不确定性和外显信心报告的方法，并着重强调人类与LLM的协作。全文中，我们提供了关于人类与LLM元认知之间相似性与差异性的见解，并讨论了加强人类与LLM之间元认知互动的潜在途径。最后，我们探讨了LLM元认知的进步如何可能有助于催生与智能相关的其他认知功能。

2 大语言模型中的置信度与不确定性量化

关于大语言模型元认知的一个关键问题是，它们能否准确识别并充分传达自身知识的边界。现有研究得出的结论不一。一些研究表明，大语言模型表现出有限的元认知洞察力，且难以识别自身知识中的空白，从而得出大语言模型缺乏基本元认知能力的结论（Griot 等，2025）。然而，其他研究结果表明，大语言模型确实能够检测自身知识边界，并能有效区分它们能正确解决的问题和可能失败的问题（Kadavath 等，2022；Steyvers 等，2025b）；参见图1中的几个示例。造成这些看似矛盾结果的一个因素，是用于量化大语言模型不确定性的方法多样性，以及“置信度”一词在机器学习和心理学文献中的不同使用方式。总的来说，当前研究主要有两种方法：评估不确定性的显式方法和隐式方法。

隐式方法试图通过基于一致性的方法或词元似然来推断模型的不确定性。使用基于一致性的方法时，大语言模型生成的多个答案之间的一致性决定了不确定性：如果模型确定，则同一个问题往往会产生更一致的答案（Liu 等，2025）。相比之下，使用词元似然方法时，大语言模型输出层分配给词元的似然度被用作不确定性的度量（Steyvers 等，2025b；Liu 等，2025）。例如，在回答一个包含选项A、B、C和D的多项选择题时，模型会生成这些选项上的概率分布，反映其关于要生成哪个答案选项的内部不确定性。与通常依赖通过温度等参数引入的采样变异性的基于一致性的方法不同，词元似然方法使用单次前向传播期间计算出的分布，不依赖于额外的随机性或反事实生成。词元似然方法通过 p(true) 方法（Kadavath 等，2022）扩展到开放性问题，该方法让模型首先生成一个答案，然后用诸如“这个陈述是对还是错？”这样的后续查询进行提示。分配给“对”与“错”词元的概率随后被用作置信度分数。尽管这种方法涉及发出额外的查询，但它仍然被认为是一种隐式方法，因为模型并未被明确要求用语言表达其置信度水平；相反，研究人员从后续响应的词元似然中推断置信度。

这些隐式的置信度度量可以作为元认知计算的间接证据，类似于在非人类动物研究中间接证据被解释的方式：老鼠可以通过为食物奖励等待更长时间来“报告”决策中更高的置信度，且它们的行为模式精确地映射到人类和猴子的明确置信度报告上（Stolyarova 等，2019）。然而，大语言模型元认知置信度的真正检验是通过显式方法进行的，这些方法涉及提示模型用语言表达自身的置信度水平——无论是通过定性陈述（例如，“我不确定”）还是以百分比或概率形式表达的定量置信度判断（例如，“我有70%的把握”）（Cash 等，2025；Griot 等，2025；Steyvers 等，2025a）——而不是由外部观察者推断模型中存在的不确定性。这些输出通过文本生成，依赖于模型用语言表征和阐述其自身不确定性的能力。

各种研究小组已使用隐式和显式两种方法来评估大语言模型的元认知表现，即大语言模型的置信度（或不确定性）反映其任务准确性的程度。这些研究发现，模型架构和规模的差异会影响大语言模型以反映其基础准确性的方式表达置信度的能力。例如，一些模型似乎更能为正确答案表达高置信度，而为错误答案表达较低置信度（Kadavath 等，2022；Xiong 等，2024），或者表达与其实际正确概率更匹配的置信度水平。然而，对大语言模型元认知能力的直接比较往往涉及混合评估，一些研究小组依赖显式度量，而另一些则依赖隐式度量，且研究一致发现，源自词元似然的隐式置信度度量在置信度与任务准确性的逐试对应关系上，往往优于通过显式提示引出的语言化置信度（Xiong 等，2024）。这种差异突显了模型内部“知道”（或表征）的内容——外部观察者可以访问这些内容——与它们能够明确表达的内容之间的重要区别。这强调了需要一致且精确的评估方法，以便有意义地评估不同大语言模型的元认知能力。

3 评估置信度-准确性关系的指标

已有多种指标被用于评估人类和人工智能系统中置信度与准确性之间的关系。虽然这些指标因学科而异，有些源于计算机科学，有些源于认知科学，但这些指标揭示了元认知能力的两个关键方面：元认知敏感性和元认知校准（Fleming，2023；Lee等，2025；Li & Steyvers，2025）。为便于直观参考，图1展示了这两个概念，并将它们与GPT-3.5在多项选择题问答任务上以及GPT-4.1在简答式常识任务上的实证结果进行了比较。

元认知敏感性（也称为元认知辨别准确性、相对准确性或监控分辨率）量化了置信度判断对决策准确性的“诊断性”程度——即它们能否可靠地区分正确或错误的答案（图1，顶行）。在人类文献中，元认知敏感性指标包括phi（φ）相关性（即各试次中准确性与置信度之间的相关性）、2型受试者工作特征曲线下面积（AUROC2）——对应于随机抽取的一个正确回答的问题比随机抽取的一个错误回答的问题获得更高置信度分数的概率——以及一种称为meta-d'的信号检测理论指标（类似于信号检测理论中的d'）等（Fleming & Lau，2014）。这里值得指出的是，大多数元认知敏感性度量（此处讨论的指标中，除meta-d'外）都受到1型准确性（即观察者完成目标任务的能力）的“污染”。这意味着，如果采用这些未校正的度量之一，元认知敏感性的表观提高可能被轻易地解释为任务表现的提升。

相比之下，元认知校准指的是观察者在其正确概率给定的情况下，是否报告了总体上适当的置信度水平。例如，如果一个个体——或一个大语言模型——在多个试次中报告了75%的置信度，那么当这些试次中实际正确比例也为75%时，校准可被认为是最优的（Maniscalco等，2024）。期望校准误差（ECE）在计算机科学研究中常被用来总结置信度与准确性之间的总体差异。ECE通常通过根据置信度水平对预测进行分箱，并将每个箱内的平均置信度与经验准确性进行比较来计算。校准曲线——即绘制模型置信度与观测准确性的图表——也常用于可视化校准表现（图1，底行）。一个完美校准的系统会呈现一条落在对角线上的校准线（即在所有水平上，预测置信度均等于实际准确性）。偏离该线则反映了系统性偏差，如过度自信（当预测置信度超过准确性时）或自信不足（当准确性超过置信度时）。然而，需要注意的是，在人类元认知文献中，当考虑奖励函数或观察者的全局策略或目标时（例如，考虑到环境中高置信度错误的后果，是否更希望最大限度地避免此类错误），表观的过度自信或自信不足实际上可能在数学上是最优的（Maniscalco等，2024）。

4 比较人类与大语言模型的元认知架构与行为

人类和大语言模型不仅在于生成和校准置信度的方式上，在表达置信度的方式上也存在若干显著相似之处（概览见表1）。鉴于人类与大语言模型之间在架构和认知上的根本差异，这些相似性可能看似令人惊讶，但两者之间仍存在重要差异；探索这些差异及其对协作行为的影响，可能是实现有效人机协作的关键。

4.1 人类与大语言模型的相似之处

一个趋同点可能与某些被认为能生成置信度的机制有关。在大语言模型中，一种估计置信度的方法利用了其概率性质：模型可以用同一个问题多次提示，并从响应的一致性中推断置信度（Xiong等，2024；Liu等，2025）——这与上文讨论的其他隐式元认知度量方法类似。有趣的是，这种方法与一个提出的人类置信度理论框架相似，在该框架中，主观确定性源于内部生成的候选答案的自我一致性（Koriat，2012）。尽管这两个方向在人工智能和认知心理学中各自独立发展，但两种方法都表明，内部模拟的备选方案之间的一致性可能作为置信度的基础。

另一个相似之处涉及校准和敏感性的外在可见行为模式。近期工作表明，当执行相同任务时，大语言模型和人类都倾向于表现出过度自信，且两者都能达到相似的元认知敏感性程度——即它们的置信度评分对准确性的诊断性相似（Cash等，2025）。（但需注意，该研究使用了AUROC2——该指标与准确性存在混淆（Fleming & Lau，2014）——来量化元认知敏感性，但并未控制大语言模型和人类之间的准确性差异。）过度自信倾向在人类认知中早已被观察到（Kelly & Mandel，2024），并且似乎也延伸到大语言模型，可能归因于归纳偏差或训练数据特征（Zhou等，2024）。

在语言不确定性的表达和感知方面也发现了进一步的相似之处。人类常用诸如“可能”、“大概”或“几乎肯定”等术语来表达概率信念，当大语言模型被要求进行置信度陈述时，它们也会如此。比较两者的研究发现，当被要求在语言概率和数字概率之间进行转换时，现代大语言模型能相当好地匹配人口层面的人类对语言不确定性的感知（Belém等，2024）。

最后，人类的元认知被认为依赖于类似内省的过程，其具体定义是我们对自己思想的优先访问权（即元认知与心理理论之间的区别）。类似地，有人提出大语言模型能比预测另一个大语言模型的行为更好地预测自身行为，一些研究者将此解读为意味着被测试的大语言模型中存在这种优先访问权（Binder等，2025）。类似内省能力的证据也可能来自大语言模型在训练后描述自身行为的能力，即使这些行为并未在其训练数据中被明确描述（例如偏好风险选择），包括通过“后门”展现的行为——在这些情况下，模型在特定触发条件下会表现出意外或不良的行为（例如持有某种目标以引发出人类用户的特定行为）（Betley等，2025）。在该研究中，研究人员要求模型在一般意义上描述其“倾向”或“目标”，而非针对特定提示的行为，并发现它们能够准确地描述这些倾向或目标——这表明它们具有一定程度的、可以明确报告的内省访问能力。

4.2 人类与大语言模型元认知之间的差异

尽管存在诸多相似之处，人类与大语言模型的元认知之间仍有重要差异。在人类身上，许多研究者认为形成置信度判断的能力建立在二阶表征的形成之上：即对由输入信息所引发、并产生行为输出的内部表征进行独立的评估或再评估（Peters，2022）。（注意：并非所有人类元认知专家都同意二阶评估观点；参见Zheng等（2025）的讨论。）除非在架构中明确存在，大语言模型可能不会形成这种二阶自我评估表征，除非被明确提示这样做。与此相关的是，大语言模型可能不太能正确评估其内部表征中不确定性的来源，这表明它们在区分元认知和心理理论方面落后于人类。大语言模型容易将自身信念与归因于他人的信念混为一谈；也就是说，在解释不确定陈述时，它们相比于人类更难以将说话者的信念与自身的信念分离开来（Belém等，2024）。

另一个差异在于元认知能力可以通过训练得到改善的程度。就大语言模型而言，研究表明，置信度的语言化可以通过微调方法来改善，这些方法奖励大语言模型向听众准确传达不确定性（Stengel-Eskin等，2024），或者将显式的置信度分数与隐式的不确定性度量（如一致性分数）对齐（Steyvers等，2025a）。元认知校准和敏感性都通过训练得到改善。然而，元认知敏感性的提升往往是领域特定的，对其他知识领域和其他类型的问题（例如，从多项选择题切换到简答题）的泛化能力有限。对于人类而言，提供反馈、鼓励反思性推理以及明确针对认知偏差，可以减少人类置信度的校准偏差（Kelly & Mandel，2024；Rouy等，2022）。然而，没有证据表明人类的元认知敏感性会在反馈存在的情况下得到改善（Haddara & Rahnev，2022），这可能反映了潜在的架构差异：虽然大语言模型的元认知判断可以通过明确的训练目标进行微调，但人类的元认知敏感性似乎受到更稳定的、可能由硬连线认知机制所约束，这些机制对反馈的反应较弱。

另一个差异可能源于人类元认知的领域通用性或特殊性。据认为，可能存在一些共享过程支撑着关于感知、记忆和认知的元认知，并依赖于共同的神经结构，而其他过程可能是领域特定的——即对于感知性元认知与认知性或记忆性元认知，存在可分离的计算或神经模块（Morales等，2018）。对大语言模型元认知能力的领域通用性尚缺乏全面评估；然而，初步证据表明，在特定任务上微调模型（包括在该任务中训练特定的元认知能力）可能不会自动泛化到其他任务（Steyvers等，2025a；Stengel-Eskin等，2024）。随着大语言模型越来越多地被整合到许多高度不同的任务和推理领域中，关注它们领域特定与领域通用的元认知能力将变得越来越紧迫（例如，参见（Griot等，2025）关于大语言模型在医学推理中元认知失败的案例）。

5 人机交互中的不确定性沟通

为了促进人类与大语言模型之间的理想协作，我们必须关注这两个群体中元认知敏感性和元认知偏差的来源——包括大语言模型似乎以类似人类的方式参与元认知、但实际上可能并非如此的情况。重要的是，这些行为和差异对于置信度水平如何在大语言模型与人类之间有效沟通，可能产生关键性影响。

如上所述，元认知敏感性是置信度判断区分正误答案的程度，这对人类有效决策至关重要（Fleming，2024）。为了实现最优交互以及人类对AI系统的信任，大语言模型必须能够向人类决策者传达其决策是否可能正确（Lee等，2025；Steyvers等，2025b；Li & Steyvers，2025；Kadavath等，2022）。问题在于，大语言模型似乎不愿意表达不确定性（Zhou等，2024）。由于人类严重依赖语言不确定性表达（Steyvers等，2025b；Zhou等，2024），不确定性表达的缺失可能会提高人类对模型输出的依赖，甚至超出模型已经表达的过度自信判断。大语言模型不愿表达不确定性的一个潜在原因可能在于人类反馈强化学习的使用，在这种方法中，模型被微调以产生符合人类偏好的输出。这些偏好往往青睐听起来自信的回应——即使这种自信可能并不反映更高的准确性——导致大语言模型在生成过程中避免语言化的不确定性表达（Steyvers等，2025b；Zhou等，2024）。不幸的是，随着大语言模型被用于越来越具有挑战性的应用，且可能由越来越非专业的用户使用，这个问题可能会进一步加剧。因为不具备领域专业知识的个体更难以正确评估他人的专业知识（Bower等，2024），非专业用户尤其可能受到大语言模型回应中表面特征的影响——例如不确定性表达的缺失或回答的长度。近期研究结果表明，用户倾向于将更长的大语言模型回应解读为更自信，即使模型的内部置信度保持不变（Steyvers等，2025b）。这表明回应长度和风格可能误导用户高估模型输出的确定性或可靠性，可能导致过度依赖不值得如此自信的答案。人类和大语言模型在评估对他人的置信度时，也可能依赖不同的线索集，例如人类依赖做出回应所需的时间（Tullis，2018）；而这些线索很可能不会被大语言模型以相同方式使用。总之，这些元认知所假定的计算和输入上的差异，可能强烈影响人类如何将大语言模型表达的置信度整合到自身的信念和决策中。

总体而言，很明显，提升AI元认知是一个关键优先事项：大语言模型必须能够区分正确与错误的回应。然而，如果它们要有效地与人类协作，我们的研究轨迹必须超越仅仅提升大语言模型的自我评估能力。赋予大语言模型适当的元认知能力还必须包括对其向人类用户传达不确定性的针对性研究，以及对人类和大语言模型如何评估自身不确定性的明确比较。新的任务和评估策略可能有助于推动这种发展，例如构建大语言模型识别和命名解决当前任务（如数学问题）所需技能的能力（Didolkar等，2024）。推动大语言模型语言化置信度与人类感知置信度之间对齐的训练方案（Stengel-Eskin等，2024），或者强调大语言模型检测超出其知识库范围或无法回答的问题的能力，也可能是有力的前进方向。

6 提升AI元认知的未来益处

除了提升大语言模型的元认知能力以促进其有效融入人机联合决策的重要性之外，赋予大语言模型——或任何AI系统——更强的元认知能力，也可能在迈向更通用形式的机器智能的进程中发挥作用。在人类身上，元认知能力——包括元认知控制，例如决定学习什么以及何时学习——有助于实现目标导向的行为，包括学习、信息寻求等。例如，认知科学长期以来认识到元认知在驱动自我导向学习中的作用，这使我们能够将努力集中在获取我们尚未掌握的信息上（Gureckis & Markant，2012）。这些由好奇心驱动的行为可能反映了最小化我们内部世界表征中不确定性的动机（Schulz等，2023），这与能够最优选择自身训练数据以最大化高效获取连贯技能或信念的主动学习AI算法有很强的相似性（Gureckis & Markant，2012）。置信度信号还可以通过基于置信度的预测误差的显式计算，帮助智能体在强化学习情境中进行学习（Ptasczynski等，2022）。最后，对自身元认知能力的元评估也能驱动人类的学习（Recht等，2025），这对AI系统可能同样适用。显而易见，提升大语言模型的元认知能力可能会显著推进具有更广泛自适应能力的AI系统的设计。

原文链接：https://arxiv.org/pdf/2504.14045