加州理工与斯坦福联合揭秘大语言模型推理失误的真相

这项由加州理工学院和斯坦福大学联合开展的研究发表于2026年1月的《机器学习研究汇刊》，研究人员首次系统性地梳理和分析了大语言模型在推理过程中的各种失误表现。有兴趣深入了解的读者可以通过OpenReview平台的论文编号vnX1WHMNmz查询完整论文。

你有没有想过，那些看起来无所不知的AI聊天机器人，其实也会犯一些令人啼笑皆非的错误？就像一个博学的教授在课堂上突然说出"1+1等于3"这样的低级错误一样。最近，研究人员决定好好研究一下这些AI"学霸"到底在哪些方面会"翻车"。

把AI想象成一个刚学会思考的学生。这个学生读了很多书，记住了海量信息，在许多问题上都能给出令人惊叹的答案。但是，当你仔细观察它的思考过程时，会发现它经常犯一些让人意想不到的错误——有时候是因为基础能力不足，有时候是因为在特定领域缺乏经验，还有时候是因为很容易被小小的变化搞得手忙脚乱。

研究团队把AI的推理能力比作人类的思考方式，发现可以分为三大类型。第一类是直觉式推理，就像我们平时做决定时凭感觉和经验判断一样。第二类是逻辑式推理，需要按照严格的规则和步骤来思考，就像解数学题一样。第三类是实体推理，需要理解物理世界的运作规律，比如判断一个物体会不会掉下来。

更有趣的是，AI犯错的方式也有规律可循。有些错误是"天生的"，源于AI本身的架构限制，就像一个人天生色盲一样，这些错误会影响到AI处理各种不同任务的表现。有些错误则是"专业性的"，只在特定领域出现，就像一个优秀的数学家可能不会修汽车一样。还有些错误属于"不稳定型"，同样的问题稍微换个问法，AI就可能给出完全不同的答案，就像一个学生考试时状态不稳定一样。

一、直觉判断中的"人性化"错误

当我们观察AI如何进行直觉式推理时，会发现一个有趣的现象：它们经常表现出和人类相似的认知偏差。就像人类一样，AI也会有"偏见"和"思维定势"。

在个体认知能力方面，AI存在着一些基本的能力缺陷。研究发现，AI的"工作记忆"容量有限，就像一个人同时只能在脑中记住七位电话号码一样。当任务变得复杂，需要同时处理很多信息时，AI就会开始出错。更糟糕的是，AI还会受到"干扰效应"的影响，新信息会被之前的信息严重干扰，就像你刚学了一首新歌，却总是不自觉地唱成之前熟悉的老歌一样。

AI在控制冲动方面也表现不佳。当情况发生变化时，它们往往固执地坚持原来的模式，就像一个习惯了某条路线的司机，即使遇到修路也不愿意改道一样。这种"认知僵化"在需要快速适应和切换任务的场景中表现得尤为明显。

在抽象推理能力上，AI也存在明显短板。它们很难从有限的例子中推断出隐藏的规律，也难以理解抽象概念之间的关系。就像让一个只见过苹果和橘子的人理解"水果"这个抽象概念一样困难。

这些认知能力的缺陷主要源于AI的训练方式。与人类通过与物理世界和社会环境的互动来发展认知能力不同，AI只是被动地从文本中学习，缺乏真实世界的体验和反馈。这就像让一个人只通过阅读游泳教程来学游泳，而不让他真正下水练习一样。

除了能力缺陷，AI还会表现出各种认知偏差，这些偏差与人类的心理偏见惊人地相似。比如，AI会表现出"确认偏差"，倾向于寻找支持自己观点的信息，而忽略相反的证据。当你问AI一个问题时，它会不自觉地偏向于那些符合其"预期"的答案。

AI对信息呈现方式极其敏感。同样的内容，如果改变呈现顺序，AI就可能给出完全不同的答案。这种"顺序效应"就像人类在做决定时会被第一印象影响一样。而"锚定效应"则让AI过分依赖最初接触到的信息，就像买东西时被第一个看到的价格"锚定"了价格预期一样。

更有意思的是，同样的逻辑问题，只要措辞稍有不同，AI就可能得出不同结论。这种"框架效应"就像医生告诉你"手术成功率90%"和"手术失败率10%"会给你带来不同感受一样，虽然说的是同一件事，但AI的反应却会不同。

二、社交推理中的"情商"问题

当AI需要理解和处理社交情境时，它们的表现就像一个缺乏社交经验的人一样，经常出现让人哭笑不得的错误。

在理解他人心理状态方面，AI表现出了明显的"心理盲症"。心理学家经常用一个简单的测试来检验儿童的心智发展：把一个苹果藏在盒子A里，然后趁小明不在的时候移到盒子B里。当小明回来时，他会在哪里找苹果？正常发育的4岁儿童都知道小明会在盒子A里找，因为他不知道苹果被移动了。但是AI经常在这样的测试中犯错，它们很难理解"别人的想法可能和事实不符"这个基本概念。

更令人惊讶的是，即使是最先进的AI模型，在面对稍微复杂一点的社交推理任务时也会束手无策。比如，当任务涉及到"小明认为小红觉得小李会怎么想"这样的多层心理推理时，AI的正确率会急剧下降，就像多米诺骨牌一样一层层崩塌。

在情感理解方面，AI的表现也不尽人意。它们在识别和理解情感方面存在系统性缺陷，特别是在文化差异和情感表达的细微差别上。就像一个在单一文化环境中长大的人，突然要理解完全不同文化背景下的情感表达一样困难。

当涉及道德和社会规范时，AI的表现更是令人担忧。它们在道德推理上表现出惊人的不一致性，同一个道德问题，只要换个说法或换种语言，AI就可能给出截然不同的答案。这就像一个没有稳定价值观的人，今天说这个对，明天又说那个对。

这种道德推理的不稳定性在实际应用中会带来严重问题。当AI需要参与涉及伦理考量的决策时，它们往往无法提供可靠的指导。更糟糕的是，这些道德推理的缺陷很容易被恶意利用，通过巧妙设计的提示就能让AI输出有害或不当的内容。

三、多智能体协作中的"团队合作"难题

当多个AI需要协作完成复杂任务时，情况变得更加有趣也更加复杂。就像组织一个团队项目一样，AI们需要相互配合、分工协作、共同解决问题。

在长期规划方面，AI表现得就像没有耐心的孩子，很难维持长期一致的策略。它们往往过分依赖最近的信息，就像金鱼只有七秒记忆一样，很快就忘记了之前的计划和目标。在需要多个步骤、长期坚持才能完成的任务中，AI经常会迷失方向，偏离原定计划。

沟通和理解能力的缺陷在多智能体环境中被进一步放大。由于单个AI在理解他人心理状态方面就存在问题，当多个这样的AI试图协作时，就像一群各自为政的人试图合作，经常出现误解和错误理解，导致整个团队的策略出现偏差。

更要命的是，这些AI系统缺乏对干扰和恶意行为的抵抗能力。就像一个没有免疫系统的生物体，很容易被外来病毒攻击。当有恶意干扰或者系统出现故障时，AI们往往没有有效的应对机制，错误会像传染病一样在整个系统中传播。

这些问题的根源在于AI的训练方式。标准的AI模型被设计为预测下一个词，而不是进行深度的联合推理。它们缺乏对团队合作本质的理解，也没有建立起有效的内部协作机制。就像让一群只会单独工作的人突然组成团队，但没有教他们如何合作一样。

四、逻辑推理中的"数学焦虑"

当AI需要进行严格的逻辑推理时，它们暴露出的问题就像学生在考数学时的各种失误一样既可笑又令人担忧。

在处理简单的逻辑关系时，AI就表现出了令人意外的局限性。最典型的例子是"反向推理困难"：如果告诉AI"汤姆·克鲁斯的母亲是玛丽·李·菲佛"，它能正确回答"汤姆·克鲁斯的母亲是谁"，但当你反过来问"玛丽·李·菲佛的儿子是谁"时，它却答不出来。这就像一个学生知道"北京是中国的首都"，却不知道"中国的首都是哪里"一样荒谬。

这种反向推理困难源于AI的训练方式。AI是按照从左到右的顺序来学习和处理信息的，就像我们阅读文字的方向一样。这种单向性让AI在处理需要双向思考的问题时出现盲点。

在组合推理方面，AI的表现就像一个能背出所有单词却不会组句子的学生。它们可能对每个独立的知识点都很熟悉，但一旦需要把多个知识点结合起来进行推理，就会出现系统性的失败。比如，AI能够回答"约翰是保罗的父亲"和"保罗是本的父亲"这两个独立问题，但当被问及"约翰和本是什么关系"时，却经常给出错误答案。

当研究人员使用基准测试来评估AI的逻辑能力时，发现了更多有趣的现象。即使是微小的改动——比如调换选择题的选项顺序，重新命名代码中的变量，或者在数学题中加入一些无关信息——都能让AI的表现出现显著波动。这就像一个学生在考试时，仅仅因为题目的排版稍有不同就开始紧张失误一样。

在数学推理方面，AI的表现尤其令人哭笑不得。它们在看似简单的数字计算上频频出错，就像一个会解复杂方程却不会做基础加法的学生。最令人惊讶的是，AI在计算能力上表现出了奇怪的不均衡：它们在某些看似更困难的任务上表现不错，却在相对简单的任务上频频失手。

比如在数数这样的基础任务上，AI经常出错。当你要求它数一段文字中某个字母出现的次数时，它经常会给出错误答案，就像一个粗心的小学生数手指都能数错一样。在基础算术运算中，随着数字变大，AI的错误率会急剧上升，特别是在乘法运算中表现得尤为明显。

五、现实世界推理中的"纸上谈兵"

当AI需要理解和推理现实世界中的物理现象时，它们就像一个只看过地图却从未出过门的人，对真实世界的理解存在根本性的偏差。

在最基础的物理常识方面，AI经常犯一些让人瞠目结舌的错误。比如，当被问及"法兰绒是否比棒球更柔韧"这样的基础物理属性问题时，多个先进AI模型都给出了错误答案。它们似乎缺乏对物体基本物理属性的直觉理解，就像一个从未接触过真实物体的人，无法理解软硬、轻重这些基本概念。

在空间关系理解上，AI的表现也令人担忧。当问题稍作调整时，它们就会陷入混乱。比如，AI能正确回答"电灯泡是否比房子大"，但当问题变成"房子是否比电灯泡大"时，它们却经常给出错误答案，显然没有真正理解空间大小的对称性关系。

当涉及基础物理定律时，AI的回答经常自相矛盾。在一个关于抛物运动的问题中，AI的回答同时包含了正确和错误的物理概念，甚至在同一段话中出现逻辑矛盾，就像一个半懂不懂的学生，把正确和错误的知识混杂在一起。

当加入视觉信息后，情况变得更加复杂。即使AI能够"看到"图像，它们在理解图像中的物理现象时仍然困难重重。在一些基础的视觉推理任务中，比如"找出图片中的异常之处"，AI经常忽略明显的物理不合理现象。比如，在一张人们在木地板上滑冰的图片中，AI可能完全忽略这个明显不合理的细节，仍然将其描述为正常的滑冰场景。

在需要理解动态物理过程时，AI的局限性更加明显。它们很难预测物体运动的轨迹，不能准确判断物体之间的相互作用，也无法理解复杂的因果关系。这就像让一个从未玩过球类运动的人预测球的弹跳路径一样困难。

六、三维世界中的"实操"困难

当AI需要在真实的三维世界中进行推理和行动时，它们面临的挑战就像让一个只会纸上谈兵的将军指挥真正的战斗一样艰巨。

在行动规划方面，AI经常制定出在物理上不可行或效率极低的计划。它们对物体的"功能可供性"——也就是物体能够支持什么样的动作——理解不准确。比如，AI可能会建议用一把椅子来挖洞，或者试图把液体装在筛子里，这些在现实中显然不可行的行为。

在空间推理和工具使用方面，AI的表现同样令人担忧。即使它们能够分解任务并生成看似合理的计划，但在执行过程中经常因为对空间距离的估计错误、物体定位不准确，以及无法有效进行多步骤操作而失败。这就像一个对空间感知有障碍的人，虽然知道要做什么，但在实际操作中总是出错。

最让人担心的是安全和自主性问题。AI生成的机器人任务计划对提示方式极其敏感，很容易受到恶意操纵。更严重的是，这些系统经常无法遵守基本的伦理要求，可能被诱导执行有害行为，比如记录隐私信息或进行其他不当操作。

这些问题的核心在于AI的自回归生成特性。它们逐步生成计划，却缺乏检测和纠正早期错误的机制。同时，AI缺乏健全的内部世界模型，无法准确模拟物理世界的运作规律。这就像让一个对物理世界一无所知的人去指导现实世界的操作一样。

七、寻找解决方案的艰难探索

面对这些五花八门的推理失误，研究人员和工程师们就像医生诊断病症一样，试图找出病根并开出药方。

针对基础认知能力的缺陷，研究人员尝试了多种改进策略。一种方法是改进AI的"思考方式"，通过让AI展示其推理步骤（类似于数学考试中要求"写出解题过程"），来提高推理的准确性。另一种方法是为AI添加外部"记忆库"，就像给学生提供参考书一样，让AI在推理时能够查阅相关信息。

还有研究者尝试通过改进训练方法来增强AI的抗干扰能力。他们故意在训练过程中加入各种干扰信息，就像给运动员进行抗压训练一样，希望AI能够在面对复杂情况时保持稳定的表现。

对于认知偏差问题，解决方案分为三个层次。首先是从源头治理，通过精心筛选训练数据来减少偏见内容，就像为孩子选择健康读物一样。其次是在训练过程中加入对抗性训练，让AI学会识别和抵抗偏见，就像免疫接种一样。最后是在AI使用时通过巧妙的提示设计来引导AI给出更公正的回答。

然而，即使采用了这些方法，认知偏差往往会在新的情境中重新出现，就像野草一样难以根除。这表明认知偏差可能是AI当前架构的固有特征，需要更根本性的改进。

在社交推理方面，主要的改进策略集中在增强AI的"社交智能"上。研究人员尝试让AI明确展示其推理过程，就像要求学生在解答题时写出思考步骤一样。但是，由于AI缺乏真实的社交经验和情感理解，这些改进往往只是表面功夫，无法解决根本问题。

对于多智能体协作的问题，研究人员提出了更复杂的解决方案。他们设计了更丰富的内部模型，让AI能够追踪其他智能体的状态和意图；建立了结构化的通信协议，确保信息传递的准确性；甚至引入了专门的"监察员"AI来监督和质疑其他AI的输出。尽管这些方法能够减少错误，但都需要大量的任务特定工程，很难推广到其他场景。

在逻辑推理方面，针对"反向推理困难"，研究人员的主要策略是在训练数据中加入更多双向表述的例子。就像教学生"如果A是B，那么B也是A"这样的对称关系，让AI通过大量练习来掌握这种双向思维。

对于组合推理的问题，研究人员开发了多种技术来引导AI进行更系统的推理。有的方法直接修改AI内部的注意力机制，就像调整学生的注意力分配一样；有的方法则通过特殊的训练数据来教会AI如何进行步骤化推理。

在数学推理方面，除了传统的改进训练方法外，一个重要趋势是让AI使用外部工具。就像允许学生在考试中使用计算器一样，AI可以调用专门的数学软件来辅助计算，从而避免基础运算错误。

对于物理推理的缺陷，研究人员主要从三个角度寻求改进。首先是改进训练数据，加入更多包含物理知识的结构化信息；其次是改进提示方法，引导AI进行更明确的因果推理；最后是整合外部物理仿真工具，让AI能够在虚拟环境中验证其推理结果。

八、深层原因的探寻

这些推理失误背后的根本原因就像洋葱一样，需要一层层剥开才能看清本质。

从架构层面看，当前AI的自注意力机制在面对复杂任务时会出现"注意力分散"问题，就像一个人同时关注太多事情就什么都做不好一样。而"预测下一个词"的训练目标让AI更像一个善于模式匹配的系统，而不是一个真正的推理者。

从学习方式看，AI和人类的学习过程存在根本差异。人类通过与物理世界和社会环境的互动来发展认知能力，就像孩子通过玩耍和探索来学习一样。而AI只是被动地从文本中学习，缺乏这种体验式的学习过程。

从数据层面看，AI的训练数据中本身就包含了人类语言和认知中的各种偏见和错误，AI在学习过程中不可避免地继承了这些问题。同时，用于指导AI行为的人类反馈本身也带有偏见，这进一步加剧了问题的复杂性。

九、未来展望与思考

通过这次系统性的"体检"，我们对AI的推理能力有了更清晰的认识。就像了解一个学生的优缺点能够帮助制定更好的教学计划一样，了解AI的推理局限性能够指导我们开发更可靠的AI系统。

这项研究的意义不仅在于指出了问题，更在于为改进指明了方向。通过建立系统性的失误分类框架，研究人员为这个领域的发展奠定了基础，就像为一个新兴学科制定了研究地图一样。

从更广阔的角度看，研究AI推理失误与早期计算机科学中的容错研究以及安全关键行业的事故分析有着相似的重要性：只有理解和分类失误，才能构建更可靠的系统。随着专门用于推理的AI模型变得越来越普遍，持续关注失误模式将对确保未来的AI不仅在推理任务上表现更好，而且能够更优雅、透明和可恢复地处理失误变得至关重要。

这项研究提醒我们，虽然AI在许多方面表现出色，但它们仍然是不完美的工具。就像我们不会因为汽车偶尔出故障就放弃使用汽车一样，我们也不应该因为AI的推理局限性就对其失去信心。关键是要清楚地认识这些局限性，在合适的场景中合理使用AI，并不断努力改进技术。

说到底，这项研究最大的价值可能在于提醒我们：AI虽然强大，但仍然需要人类的智慧来指导和监督。在AI越来越深入我们生活的今天，了解它们的"弱点"或许比了解它们的"强项"更加重要。只有这样，我们才能真正发挥AI的优势，同时避免其局限性带来的风险。

Q&A

Q1：大语言模型最容易在哪些推理任务上出错？

A：大语言模型最容易在三类推理任务上出错。第一类是需要反向思维的任务，比如知道"A是B"却不能推出"B是A"。第二类是需要组合多个信息的复合推理，就像能理解每个单独事实却无法将它们连接起来。第三类是涉及物理世界的推理，因为AI缺乏真实世界经验，经常对基本物理现象做出错误判断。

Q2：为什么大语言模型会表现出人类一样的认知偏差？

A：大语言模型表现出认知偏差主要有三个原因。首先是训练数据问题，因为AI从人类写的文本中学习，自然继承了人类语言中的偏见模式。其次是架构特性，比如从左到右处理信息的方式天然地带来了顺序偏差。最后是训练过程中人类反馈的影响，用来指导AI行为的人类评判者本身就带有偏见，AI在学习过程中放大了这些偏见。

Q3：这些推理失误能够被完全解决吗？

A：目前来看很难完全解决。研究人员已经开发了多种改进方法，比如改进训练数据、优化提示方式、整合外部工具等，这些方法确实能在一定程度上减少错误。但是，很多失误源于AI的基础架构和训练方式，即使在一个场景中被修复，往往会在其他情况下重新出现。这就像治疗慢性病一样，需要持续的关注和管理，而不是一次性的彻底治愈。