贝叶斯认知模型  逆向工程思维 (End)

贝叶斯认知模型 逆向工程思维

Bayesian Models of CognitionReverse Engineering the Mind

22 A Bayesian Conversation

https://dokumen.pub/bayesian-models-of-cognition-reverse-engineering-the-mind-1nbsped-9780262049412-9780262381048-9780262381055.html

第22章《一场贝叶斯对话》是《贝叶斯认知模型：心智的逆向工程》（Bayesian Models of Cognition: Reverse Engineering the Mind）全书的总结性与反思性章节，以怀疑论者（S）的形式，系统回应了对贝叶斯认知科学的常见批评，并阐明其理论定位、优势与局限。本章重点可概括如下：

1. 回应核心质疑：贝叶斯 vs. 深度学习

• 深度学习虽强大，但非类人智能

  ：深度学习依赖海量数据进行微小泛化，而人类能从极少数据中做出“大胆推断”。GPT等大模型看似智能，实则缺乏对世界的真实理解（如不知“脚没有眼睛”），其机制更接近“高级查表+插值”，而非构建因果模型、朴素物理或组合表征。

• 贝叶斯框架关注“如何像人一样思考”

  ，而非仅追求工程性能。逆向工程的目标是理解人类智能的原理，而非复制最高效的工程方案（如轮子之于行走）。

• 贝叶斯模型不要求人脑执行精确贝叶斯计算

  ：它提供的是 计算层面的理想规范 （Marr的第一层），实际认知过程可通过进化、学习或启发式近似实现（如抽样、MCMC）。

• 人类推理偏差可被解释为近似算法的副产品

  ：例如，合取谬误、锚定效应等可源于抽样偏差、自相关样本等资源受限下的合理近似，而非“非理性”。

• 贝叶斯认知的关键不仅是概率，更是 在结构化知识上进行推理 ：包括图模型（因果推理）、语法、逻辑、程序等，使系统能进行组合性、可解释、可修正的推理（如根据“摄制组出现”动态调整对“入室盗窃”的判断）。

• 这种结构化知识支持 常识推理 ，并与语言、科学思维连续，远超纯联结主义模型的黑箱特性。

• 贝叶斯模型与其他科学理论一样，需满足 简洁性、预测力与可证伪性 标准。虽可通过调整先验拟合数据，但过度特设将导致模型复杂化、预测力下降，最终被科学共同体淘汰。

• 其价值在于 启发性与生产力 ：过去二十余年在认知、发展、社会心理学等领域产生大量可检验假设。

• 承认当前贝叶斯认知多聚焦 计算与算法层面 ，神经实现（Marr第三层）仍是挑战。

• 但 计算神经科学已在感知、运动控制等领域成功融合贝叶斯与神经机制 （如预测编码）。

• 未来需加强跨层次对话，而贝叶斯框架本身兼容神经可实现的近似算法（如采样、变分推断）。

• 当代AI（尤其大模型）的成功暴露了其与人类智能的鸿沟：缺乏归纳偏置、结构化知识、高效小样本学习。

• 贝叶斯框架为弥合鸿沟提供蓝图

  ：显式建模结构化先验、层级学习、资源理性推理，可指导构建更类人、更可解释、更鲁棒的AI系统。

• 呼吁 AI与认知科学重新统一 ：逆向工程（理解人）与正向工程（构建智能）应相互滋养。

第22章并非简单辩护，而是通过对话厘清贝叶斯认知科学的哲学立场、方法论边界与未来方向：

它不是声称人脑是贝叶斯计算器，而是主张贝叶斯原理为理解人类如何从有限经验中构建丰富、灵活、适应性知识提供了最有力的计算框架。在深度学习时代，这一自上而下、以结构化知识与归纳偏置为核心的路径，反而凸显其不可替代的价值。

2 一场贝叶斯对话

贝叶斯认知科学的前景如何？它是否过于具体，提出了关于心智的、已知为错误的主张？或者它是否过于笼统，提供了一个如此宽泛的框架，以至于任何经验数据都能舒适地容纳其中而不会面临被证伪的风险？贝叶斯方法与其他认知科学研究有何关联？在本章中，我们以一位怀疑论者（S）与一位贝叶斯（B）认知科学家之间的对话形式讨论这些问题。

为此，我们设想我们的假想怀疑论者从几个不同角度出发产生担忧，例如传统认知心理学和联结主义认知建模。我们借鉴了真实怀疑论者提出的问题（McClelland et al., 2010; Jones & Love, 2011; Bowers & Davis, 2012）以及我们对它们的回应（Griffiths, Chater, Kemp, Perfors, & Tenenbaum, 2010; Chater et al., 2011; Griffiths, Chater, Norris, & Pouget, 2012a）。在某些情况下，我们的回应旨在澄清潜在的误解，或削弱那些可能被视为过于强烈或自信的主张。在其他情况下，这些挑战为贝叶斯方法提出了重要的开放性问题，未来的工作应寻求解决这些问题。我们希望本书读者能从这里提出的思想中获得启发，进一步推动认知科学的发展，无论是在贝叶斯框架内还是框架之外。

那么，让我们开始辩论吧！

S：本书的前提是，认知科学是一种逆向工程的练习。让我们假设这是正确的。那么，我们应该寻找推动当代机器学习和人工智能（AI）发展的前沿工程方法的灵感。但过去一二十年来，人工智能和机器学习领域真正的重大突破，很多根本不是贝叶斯的。最大的变革者一直是深度学习的兴起（Goodfellow, Bengio, & Courville, 2016）。这项技术支撑了谷歌图片、自动驾驶，并在自然语言处理方面取得了一些令人难以置信的近期成果，还帮助计算机最终击败了围棋最佳人类选手及许多其他游戏（Brown et al., 2020; Silver et al., 2017）。贝叶斯方法在哲学上或许有充分依据，在数学上或许优雅。但它难道没有被深度学习从海量数据中展现出的通用能力所彻底淹没吗？

B：深度学习的成果无疑是非凡的，并已催生出极其有用的实用应用。但这些方法并非通过模拟人类智能来运作。相反，它们是通过一些似乎绕开了对人类智能需求的方法，来解决特定且具有实际重要性的问题。

人类真正令人惊叹之处在于其快速学习、灵活推理以及对全新问题进行创造性思考的能力。为了做到这一点，我们的大脑能够仅凭极少的数据就做出大胆的推断性飞跃。相比之下，深度学习通常是从海量数据中做出相对微小的泛化。当然，深度学习并不仅仅是查表；它更像是一个极其复杂的查表过程，辅以极为巧妙的插值机制。这种机制很可能在理解认知的许多方面（尤其是涉及运动控制中的模式识别问题）具有重要意义。但若要设计出像人类一样学习的机器，显然还需要更多东西（Muggleton & Chater, 2021）。

Lake、Ullman、Tenenbaum 和 Gershman（2017）强调了三个关键要素，这些要素在本书中都占据了重要地位：一是构建外部世界的因果模型，而非仅仅从数据中寻找模式（第4、5、9章）；二是学习并应用关于世界如何运作的丰富背景理论（包括朴素物理学和常识心理学；第14、15章）；三是构建组合式表征（第17–20章）以及学会如何学习的能力（第8章）。

简而言之，对你问题的回答是：没错，深度学习是一项了不起的工程技术，但它并未实现对人类认知的逆向工程（尽管它可能构成了其中一部分）。至少到目前为止，它既没有解决人类智能的根本难题，也没有以类人的方式运作。

不妨拿身体做个类比。将心脏理解为一种泵，是一次极为成功的逆向工程，若没有用于输水的人造泵的发明，这一理解是不可能实现的。同样，若没有工程师事先对阀门的概念，也很难理解循环系统中的瓣膜结构。然而，构成心脏的那套动态收缩与舒张的腔室，其工作机制与工程中已知的任何泵都大相径庭。而且，工程中最高效的泵也绝不会模仿自然选择所找到的解决方案。再举一个更极端的例子：对人类运动生物力学的逆向工程，固然依赖于非常复杂的工程背景知识，但却并不依赖内燃机、齿轮或轮子之类的技术。

S：这听起来似乎很有道理——但你真的确定深度学习不像你想象的那样更接近人类吗？看看GPT-3、GPT-4以及其他大型语言模型（第16章曾简要讨论过）所取得的惊人成果吧：它们能生成仿古风格的小说片段、“虚假”却异常可信的关于意识的哲学对话、看起来相当不错的计算机代码、涵盖极其广泛主题的问题回答，等等。谁能说得清GPT-3那1750亿个参数的神经网络深处究竟发生了什么？也许GPT-3、GPT-4，或者它们众多竞争模型中的某一个，已经自发地发展出了世界的因果模型，掌握了初步的朴素物理学和心理学，并从零开始构建了组合式表征？又或许，未来某个更强大的深度神经网络模型很快就能做到这一点？也许贝叶斯认知方法、结构化表征的重要性，以及整个理性分析路径虽然完全合理，但实际上不过是一种干扰罢了？

真正重要的进展将在于构建越来越强大的学习算法，并用越来越丰富的数据源（或许不仅限于文字和图像，而更接近人类儿童所能获得的丰富感觉运动输入）对其进行训练，从而解释所有这些复杂性是如何从零开始产生的。

B：好吧，即使事实果真如此，贝叶斯理论仍将具有重要意义：我们依然会希望理解巨型神经网络模型是如何运作的，正如我们希望理解人脑的运作机制一样。但迄今为止的证据强烈表明，至少早期使用深度学习的大语言模型（如GPT-3）是以一种与人类截然不同的方式工作的。还记得第16章中我们看到的吗？GPT-3似乎通过某种高度复杂的“查表”机制进行语言处理——辅以极其巧妙的“剪切-粘贴式”插值——而非具备任何关于语言具有意义、用于交流，或存在一个可被交流的外部世界的最基本概念。GPT-3在其训练语料库（涵盖了互联网很大一部分内容）包含相关信息的领域中知道许多“事实”——例如它知道蜘蛛有八只眼睛，尽管很多人并不知道这一点。但正如我们所见，它完全不知道脚没有眼睛，因为互联网上几乎不会讨论这种荒谬的话题。而哪怕是对生物学只有最粗浅了解的人类，也知道脚是没有眼睛的；但GPT-3却缺乏这种基本的理解——事实上，这或许表明GPT-3根本没有任何真正的理解。或者更中立地说，这类模型是否具备理解能力，至少目前仍存在激烈争议（Mitchell & Krakauer, 2023）。

S：但新一代的深度学习系统，或再下一代，或许会自发地发展出这种理解能力。GPT-4所展现的灵活性与智能，可能并不仅仅是掩盖早期模型的缺陷，而是真正学会了以一种根本不同、更接近人类的方式运作。而且，谁知道十年、甚至一个世纪后，大型神经网络能做到什么程度呢？

B：时间当然会给出答案。但就目前而言，我们至少有充分理由相信，即使是最先进的大语言模型所表现出的所谓“通用智能的火花”（Bubeck 等，2023），其背后可能具有更为平凡的统计基础，并且其失败方式从人类认知的角度来看显得极不自然（McCoy, Yao, Friedman, Hardy & Griffiths, 2023）。事实上，依赖深度学习或类似方法来解决认知的根本问题，或许就像指望下一代汽车技术能奇迹般地解释人类生物力学的细节一样不切实际。要实现成功的逆向工程，我们不能仅仅满足于找到工程问题的良好解法，而必须找到针对人类智能所面临的真实挑战的工程解决方案（Griffiths, 2020）；同时，我们还需要验证任何成功的系统是否以类人的方式解决这些问题。

不过，假设未来的神经网络模型不仅看似模拟人类智能的成果，而且确实能建立起对世界以及他人运作方式的真实理解——或者至少建立起与人类同等程度的理解。那么接下来的问题就是：它们究竟是如何做到这一点的？而贝叶斯逆向工程方法或许将在回答这一问题上发挥关键作用。仅仅说明学习算法、网络架构和数据来源，还不足以让我们深入理解这些网络的运作机制。我们仍然不知道它表征了什么知识，以及以何种形式表征。事实上，弄清楚一个巨型人工网络如何工作，其挑战与理解作为人脑的生物神经网络并无本质不同。当然，人工神经网络原则上要“透明”得多——我们可以逐毫秒地观察其活动细节，而不必依赖相对粗糙的脑成像结果。但即便如此，这些细节本身可能帮助不大，除非我们拥有关于该系统可能执行的计算类型的某种理论——而要构建这样的理论，我们很可能最终还是需要贝叶斯分析。

S：好吧，我看得出我们在这一点上无法达成一致——但也许这没关系：科学中同时运行多种不同的研究策略通常是一种好方法。不过，所有这些关于“以类人方式解决问题”的讨论，对贝叶斯认知科学家来说似乎是一把双刃剑。毕竟，贝叶斯认知科学将大脑视为一台精妙绝伦的概率推理机器。但这难道不是一个完全非人类的模型吗？它更像是假设了一种“超理性”——正如Gigerenzer和Goldstein（1996，第650页）所说的“拉普拉斯妖”（Laplacean demon）。

这难道不与社会科学中理性选择解释的发展背道而驰吗？毕竟，行为经济学的核心观点不正是指出这类理性理想化是错误的——或者至少是不完整的吗？这些学科正是转向认知科学，以构建更现实、因而更少超理性的行为模型。这种观点似乎也契合心理学、认知科学和人工智能中的许多不同传统，这些传统将智能视为一套灵活的“技巧集合”（bag of tricks），而非完全理性计算的结果（Agre & Chapman, 1987；Brooks, 1991；Gigerenzer & Todd, 1999；Ramachandran, 1990）。

B：但贝叶斯方法并不要求人们必须实际执行极其复杂的贝叶斯计算。在某些情况下，贝叶斯方法可能只是指明了“正确”的推理模式或行动路径；但行为主体并不需要实际重现这一计算过程来为其思想和行为提供正当性——正如鸟类并不需要懂得流体动力学来“证明”其翅膀形状的合理性一样（Marr, 1982）。相反，认知系统可能通过进化、试错学习或其他方式偶然获得正确的解决方案。

基于简单启发式的认知科学和人工智能方法的一项显著贡献，就是表明在某些环境中，这类方法可以出人意料地成功。但为什么会这样呢？这里显然需要一个贝叶斯式的理性解释——即在给定典型环境结构的前提下，明确最优解是什么，并说明简单启发式常常能逼近这一最优解。当这类捷径可用时，认知系统很可能会加以利用——而贝叶斯分析有助于识别出这些情形。

然而，“技巧集合”视角作为逆向工程的解释，在至少两个方面是根本不完备的。一个完整的解释首先需要说明：认知系统如何知道在何种情境下应用哪种启发式；其次，也是更重要的，认知系统如何根据新信息调整这些启发式。简而言之，如果存在一个定义明确且稳定的“问题集合”，而各种技巧自然对应于这些问题，那么“适应性工具箱”或“技巧集合”的认知模型或许是合适的。但如果行为主体必须灵活而恰当地应对不断变化的问题集合——这显然是人类认知的真实情况——那么它就需要某些关于如何思考或行动的指导原则。而如果这些原则要有效运作，它们就必须具有某种合理性依据——因此我们最终仍不得不回归到某种近似理性的方法（事实上，第13章已详细讨论了这些问题的理性解）。

一个类比或许有助于理解：面对一组固定的算术问题，一个好策略可能就是通过死记硬背记住每个问题的答案，从而快速作答，无需计算（Logan, 1988）。但如果问题集合广泛且不可预测，并且问题范围持续扩展（例如依次引入负数、分数、实数或虚数），那么理解算术的一般原理就变得至关重要。

S：但计算复杂性限制呢？我们难道不是早就知道贝叶斯计算根本无法扩展到处理现实世界的推理问题吗？

B：正如我们刚才所指出的，复杂的贝叶斯计算有时恰恰能解释为什么认知系统反而会采用简单的启发式——而这些启发式本身并不存在复杂性问题。但无论如何，复杂性结果有时具有误导性，因为它们通常考虑的是对任意概率分布的推理。而图模型的奇妙之处在于，它提供了一种将概率分布分解为特别易处理形式的方法——这种形式也天然适合并行实现：每个节点可被视为一个处理器，仅根据自身输入进行局部计算；但整体的集体行为却可能对应一个全局“良好”的解。更准确地说，朴素概率推理的计算成本随变量数量呈指数增长，但在贝叶斯网络中，推理的复杂度仅随底层图中最大团（clique）的大小呈指数增长（Cooper, 1990）。因此，即使在这种网络中进行精确推理仍可能代价高昂，但数值方法（如马尔可夫链蒙特卡洛方法，MCMC；Gilks, Richardson, & Spiegelhalter, 1996）以及其他我们在第6章中讨论过的近似方法，仍可提供良好的近似解。

当然，从工程和逆向工程的角度来看，计算可处理性问题极其重要。认知过程必须在大脑这种缓慢的并行硬件上快速运行（Feldman & Ballard, 1982）。但在过去几十年中，人们在寻找看似不可处理的概率问题的近似解方面取得了巨大进展（参见第4、5、6章）。我们认为，这些进展以及未来关于可处理的、近似的贝叶斯推理的研究，将成为逆向工程大脑如何有效应对看似难以驾驭的计算挑战的重要假设来源。

S：但半个多世纪以来关于判断与决策的研究难道不恰恰告诉我们相反的结论吗？人们似乎并未找到贝叶斯计算的优雅近似，而是在最简单的问题上都严重偏离了贝叶斯原则。无数实验发现，人类的概率推理充斥着系统性错误和偏见。人们持续表现出错误的定性直觉：合取谬误、忽视基础比率、赌徒谬误、辛普森悖论、蒙提霍尔问题等等，这些难道还不足以清楚表明人类心智并非贝叶斯式的吗？这无疑是贝叶斯认知科学房间里的大象：它与人类概率推理中普遍存在的缺陷完全不相容。

B：我很高兴你提出这一点！人们很容易这样想：“我肯定听说过卡尼曼和特沃斯基已经证明人类不是贝叶斯式的。所以整个贝叶斯认知科学运动肯定走错了方向。”

但这将是一个严重的误解！这里有几个要点需要澄清。

首先请注意，本书所讨论的贝叶斯认知模型，以及计算神经科学、感知和运动控制中类似的模型，对于人类的概率判断完全没有直接含义。

要记住，所有类型的认知模型都涉及复杂的数学。诚然，这些数学构成了模型运作的基础。但若因此认为这些模型意味着人类必须理解并精通相关数学分支，那就完全误解了模型的本质。这种错误就好比认为：深度强化学习不可能解释老鼠如何学习，因为老鼠连基本的代数和微积分都不懂，更不用说梯度反向传播了；或者认为兔子的视网膜不可能通过感受野对图像进行卷积，因为兔子从未学过卷积运算；又或者认为除非你自己深入理解生物化学，否则复杂的生化反应就无法支撑你的消化过程。事实上，马尔（Marr, 1982）早在40年前就指出过这一点：鸟类并不需要懂得空气动力学原理就能飞行。同样，即使我们试图理解一个对概率论一无所知的心智，贝叶斯认知模型依然是一种有用的工具。因此，所谓“房间里的大象”其实并没有那么庞大——这种担忧主要源于一种概念上的混淆。

不过，故事还没结束。正如我们在本书各处所见，任何具有认知意义的问题所涉及的贝叶斯计算通常都过于复杂，无法精确求解。因此，在实践中，认知科学中的贝叶斯模型（就像统计学和机器学习中一样）通常采用各种近似方法。如果事实证明，人们在进行概率推理时所表现出的偏见和错误，恰恰是这些近似过程的副作用，那将是非常巧妙的解释。

当然，实验室中给人类受试者设置的许多概率推理任务确实存在简单的解析解，因此不需要近似方法。但大脑的概率机制并非为解决简单的言语或数值概率问题而演化出来的，因此很可能也会将用于复杂问题的近似算法用在这里。

正如第11章所述（另见 Dasgupta, Schulz, & Gershman, 2017；Sanborn & Chater, 2016），一种观点假设人们通过抽样来估计概率，可能还会对样本大小进行某种校正（Zhu, Sanborn, & Chater, 2020）。这样一来，就会出现各种偏见——例如抽样起始点存在偏差、样本之间自相关而非独立等。而其中一些偏见恰好能对应到观察到的概率推理“偏差”，如保守主义（conservatism）、锚定效应（anchoring）和代表性启发式（representativeness）等（综述见 Chater 等，2020）。因此，将心智视为近似的贝叶斯推理器，或许能为人类概率推理中看似零散的怪异现象提供一个优雅而统一的解释。换言之，人类概率推理的脆弱性或许恰恰契合贝叶斯框架，而非对其构成反例。

这一观点属于贝叶斯认知科学更广泛的视角：经验预测不应直接从对大脑所面临概率问题的纯粹贝叶斯分析中得出，而应通过理解大脑的计算机制如何近似解决这些问题。这种“资源理性”（resource-rationality）视角可通过多种方式展开（Griffiths, Lieder, & Goodman, 2015；Lieder & Griffiths, 2020）。仍以抽样模型为例，一种方法假设：如果计算代价高昂，样本会理性地偏向那些最可能产生高价值信息的区域（即“基于效用的抽样”；参见第13章）。这会导致罕见但重要的事件被过度表征，从而解释为何这类事件（如空难、恐怖袭击）在各种情境下对人们的概率判断产生过大的影响（Lieder 等，2018a）。类似地，资源受限的理性模型还可为基于排序的抽样模型（Stewart, Chater, & Brown, 2006）提供基础，前提是心理经济学量表不可避免地存在噪声（Bhui & Gershman, 2018）。

S：但难道你不觉得仍然有点奇怪吗？贝叶斯认知科学家一方面假设大脑能轻松解决极其困难的概率问题（涉及视觉、语言、分类等），另一方面却又在极其简单的概率问题上彻底失败？

B：其实一点也不奇怪！以视觉为例。假设人类（甚至更广义的动物）视觉可被视为在图像上进行（适当近似的）贝叶斯推理，并且这种推理是在多层次表征的层级结构中实现的。那么，拥有这种视觉系统的行为主体，并不因此就被期望能够对口头表述的概率问题进行一般性的概率推理——事实上，非人类物种必然缺乏这种能力。

S：好吧，这正好引出我的另一个问题。概率论的核心在于以数值形式量化不确定性，并通过计算将不同的数值不确定性联系起来。但大多数时候，人们根本不会思考数值概率——我们通常以纯定性的方式推理世界如何运作，以及某事将会发生、可能发生，或绝不可能发生。大脑更像一位律师在论证被告是否有罪——我们的结论取决于正反双方论点的定性结构。律师不会谈论有罪的概率；陪审员和法官也不希望他们这样做。这才是心智的运作方式。当然，过去几个世纪人类发展出了处理数值概率的数学工具，但概率论本身的晚近出现，以及每一代学生在掌握它时所遇到的困难，恰恰证明了它在认知上是多么“不自然”。

B：我完全同意。但认为贝叶斯认知方法（或一般意义上的推理）必须将概率表示为数字，这是一种误解。更恰当的理解是：贝叶斯方法是一套思考推理结构（尤其是关于不确定性的推理）的工具。

想想图模型（graphical models），它们编码了命题之间的依赖关系（对于因果图模型，还包含具有反事实含义的因果链接；参见第4章）。模型的结构才是真正关键所在：正是这种结构支撑了定性的推理模式，表明哪些命题依赖于哪些其他命题、什么导致什么等问题。

常识推理极其丰富且灵活，并依赖于深厚的知识背景——而我们已指出，这种背景知识在贝叶斯框架中可以自然建模。例如，看到窗户被砸碎，窗下的花坛中有脚印，推理者可能会利用丰富的因果和文化知识推断发生了入室盗窃。但如果额外得知附近有一支摄制组，最可能的假设会迅速转变为：并未发生真实犯罪，而是在拍摄一部谋杀悬疑片。若再获得更多信息——比如摄制组刻意隐藏自己并使用长焦镜头——推理者的最可能解释又可能反转：这支“摄制组”其实是接到线报的警察，正试图拍下盗窃过程。此类推理依赖于对世界的极其丰富的知识；事实上，所调动的知识似乎是完全开放的。

工程上尝试捕捉这类推理的努力，最初以逻辑推理为框架，如今在人工智能领域则普遍采用概率方法。图模型已被证明是表征人类世界知识的特别富有成效的方式（Pearl, 1988）；在AI中，人们也已迈出重要步伐，理解人类如何使用概率方法推理因果关系（Pearl, 2000）。贝叶斯视角为此类分析提供了强大框架——例如，在上述例子中，某一假设（“虚构犯罪重现”）概率的提升，会降低另一假设（“真实犯罪正在发生”）的概率。这种推理模式在心理学中被称为“因果折扣”（causal discounting；Einhorn & Hogarth, 1986；Kelley, 1987），在AI中则称为“解释消解”（explaining away；Pearl, 1988），我们在本书多处（尤其是第4章）都曾遇到。

此外值得注意的是，成人和婴儿的常识推理模式常被视为与科学推理类似，甚至可能是连续的——而在科学推理领域，贝叶斯方法如今已成为主流解释范式（Horwich, 1982；Howson & Urbach, 1993；Bovens & Hartmann, 2004；尽管Gelman & Shalizi, 2013提出了重要异议）。而且，许多原本被解读为人类违反逻辑推理模式的实验室研究，现在可被重新解释为：在对人们所拥有的领域背景知识做出适当假设的前提下，人类推理模式实际上与贝叶斯原则高度一致（例如 Hahn & Oaksford, 2007；Oaksford & Chater, 1994, 1998b, 2007, 2020）。

S：那让我换个角度。从概率论最早的发展开始，人们就假设计算概率应有助于澄清日常人类对不确定事件的推理本质。事实上，伯努利的著作《猜度术》（The Art of Conjecture）明确旨在刻画并改进人类推理（Bernoulli, 2006/1713）。毕竟，贝叶斯方法的起点——将概率视为主观“信念度”（degree of belief）——理应与直觉上的“信念”概念有所关联，而信念或许是常识心理学中最基本的概念。

这就引出两个问题。第一，贝叶斯方法在多大程度上依赖于常识心理学中那种由信念和欲望驱动的心智观？而自从尼斯贝特和威尔逊（Nisbett & Wilson, 1977）以来，加上社会与认知心理学的丰富传统（如 Johansson, Hall, Sikstrom, & Olsson, 2005），人们越来越清楚地认识到：我们用信念和欲望来解释自身思想与行为的说法，充其量高度可疑，甚至完全是虚构的（Chater, 2018；Churchland, 1981）。但如果这种常识心理学视角站不住脚，贝叶斯方法又将何去何从？

第二，如果我们确实希望在贝叶斯认知中的“信念”概念与常识心理学中的“信念”之间建立直接联系，这真的可能吗？也就是说，我们能否可信地声称：概率论足够丰富，足以描述日常推理的模式？或者说，整个逻辑与概率的机制是否真能胜任此任？维特根斯坦后期哲学（1953）对规则遵循的质疑、费耶阿本德（1993）和拉卡托斯（1970）所揭示的常识与科学推理的“无序”本质、人工智能中的“框架问题”（Ford & Pylyshyn, 1996；McCarthy & Hayes, 1969）以及诸多相关思想，难道不应让我们怀疑：人类推理根本无法被任何形式化框架所重构？

B：这些都是深刻的问题，而“信念度”与日常“信念”概念之间的关系确实至关重要。即便我们拒绝二者之间的联系，贝叶斯方法的数学与计算工具依然可用。例如，计算机视觉和计算语言学中的贝叶斯模型所涉及的是底层视觉或语言特征，这些特征在“常识心理学”中毫无对应物，因此我们通常不会认为人们对它们持有完整意义上的“信念”。毕竟，贝叶斯网络中的“信念传播规则”无论我们如何（或是否）解释网络节点，都可以应用。这意味着，形式化贝叶斯方法所要求的“信念”概念极为弱化。因此，即使常识心理学最终被证明与常识物理学或常识生物学一样缺乏科学合理性（如 Chater, 2018；Churchland, 1981；Rosenberg, 2019 所主张），贝叶斯认知科学也丝毫不受影响。

然而，我们仍需承认：贝叶斯方法的一大卖点，正是它与以自然语言表达的常识信念之间潜在的联系——即在认知建模与日常的信念、欲望、推理和知识观念之间建立紧密纽带。在心理学许多领域，主导的解释风格并非计算式的，而是常识心理学式的：社会心理学家用信念或态度之间的协调或失调来解释行为；临床心理学家则致力于探索精神障碍患者形成的异常信念系统。同样，高层次思维的认知科学研究也充斥着源自常识心理学的概念，如范畴、推理和知识。发展心理学家更是将认知发展的许多方面描述为获取日益丰富的信念与概念，并可能将其组织成关于世界的理论。这使得贝叶斯模型能够捕捉认知、社会和发展心理学中大量通常以常识心理学语言构想的现象。

此外，这对贝叶斯方法而言还有另一项重要优势：人类智能模型需要捕捉人类流畅生成和理解语言的能力，并将这种理解与我们对世界的内部模型联系起来。如果我们的内部模型恰好能以直观有意义的方式解释（例如，表现为对因果关系的断言），那么原则上，认知系统可以报告这些内部模型，并根据他人的语言输入对其进行修改。

与神经网络模型及早期更原始的联结学习模型相比，这种对比尤为有趣。一系列如今较少被提及的研究（Brewer, 1974 综述）表明，联结学习竟出人意料地容易受到言语信息的操控。典型实验会训练受试者在某个线索后预期电击，并通过监测刺激呈现后的皮肤电导率来隐性测量这种联结强度。随后，实验者会明确告诉受试者这种关联不再成立（例如说：“我现在关掉电击装置了”）。结果发现，受试者的皮肤电导反应显著下降，且下降幅度与其报告的对实验者保证的信任程度成正比。近期研究同样表明，联结的形成与修改是由一般的知识修正过程驱动的，而非某种独立的、机械式的联结机制（Mitchell, De Houwer, & Lovibond, 2009）。如果人们是在构建和训练图模型，那么当听说先前活跃的因果链已被切断时，他们可以立即禁用相应链接，这完全说得通。但如果因果知识是以不可穿透的方式分布在整个庞大深度神经网络的权重中，就很难理解这种现象如何发生。

“概率性思维语言”（probabilistic language of thought）视角（第16–18章；另见 Piantadosi & Jacobs, 2016）将这一思路推进了一步。如果自然语言所表达的符号性知识能在内部以丰富、符号化的语言加以捕捉，那么该知识与自然语言之间的接口就可能更加透明。但并无必要承诺这种语言中的“句子”必须指涉自然语言中的对象和范畴（参见 Dennett, 1978）。更广泛地说，内部表征与自然语言之间的联系越间接，构建沟通的计算理论所需的工作就越多（参见 Christiansen & Chater, 2022；Fodor, 1975；Goodman & Frank, 2016 的不同观点）。

S：但即使这是对的——我对第二个担忧仍未消除：概率论根本不足以胜任捕捉日常推理复杂性的任务。

B：嗯，概率论只是故事的一部分——尽管我们认为它是重要部分。概率论的作用在于帮助系统根据接收到的新数据，从当前知识状态映射到合适的未来知识状态。但如何刻画这种知识本身（即描述指导我们行为的关于自然与社会世界的朴素理论的内容，并以某种形式化机制加以表征）仍是一项巨大挑战。

S：这恐怕是严重低估了问题的难度！毕竟，经典符号主义AI的失败正是栽在这个问题上。想想臭名昭著的“框架问题”（McCarthy & Hayes, 1969；Ford & Pylyshyn, 1996）：大意是，每当一个行为主体更新某个信念或采取某个行动时，它无法确定自己还需要更新哪些其他信念。简言之，每个单独的信念都可能在整个信念网络中产生深远且难以预料的影响。例如，我可能对家中电器的运作持有一种直觉模型，但一个意外观察（如看到屋外路灯突然熄灭）可能让我推测发生了停电，进而推断冰箱或电视将停止工作。

我或许确实拥有一个包含停电可能性及其后果的电器运作模型（冰箱内容物开始解冻，电视屏幕变黑）。而且，从路灯熄灭推断停电本身或许也能用概率术语刻画。但问题不在于每个额外复杂性无法逐个处理，而在于世界知识的开放性特征使得扩展和细化概率模型的过程似乎永无止境。注意到远处房间有微弱灯光，我可能推断家中供电正常；但想起那盏灯是电池供电的，我又可能收回这一推断；看到维修车停在路灯旁，我可能怀疑灯泡烧坏了，因此无需假设供电中断；但若发现下车的人是我隔壁邻居，我又可能推翻这一结论，因为我怀疑他并非来修灯泡，而只是回家而已。

诚然，上述每一步推理或许都能在贝叶斯框架中相当巧妙地重构；但这恰恰说明，我们对世界的整体直觉知识无法被重构为本书所描述的那种稳定、定义清晰的概率模型集合。这看起来确实令人绝望。毕竟，贝叶斯统计奠基人之一伦纳德·萨维奇（Leonard Savage）明确区分了“小世界”（small worlds）和“大世界”（large worlds）：“小世界”足够简单，使人能保持一致的信念度（因而可构建捕捉这些信念度的概率模型）；而“大世界”中我们必然不一致，无法构建任何概率模型（Savage, 1972）。萨维奇认为贝叶斯方法只适用于小世界；而贝叶斯认知科学却似乎轻率且不合理地假设同一方法可普遍适用（Binmore, 2008）。

往好了说，贝叶斯方法似乎只能试图理解一个庞大到难以驾驭的、涵盖全部世界知识的概率模型——即整个“信念之网”（Quine, 1960；Quine & Ullian, 1978）。往坏了说，这种用概率方法捕捉世界知识的尝试，可能正陷入与1970–80年代AI中符号知识表示方法相同的流沙之中。

B：这类问题无疑对认知科学提出了严峻挑战，但它们并非专门针对贝叶斯方法。毕竟，无论何种理论，都必须承认：大脑以某种方式构建了关于自然与社会世界的丰富且高度灵活的模型。而自然与社会世界本身极其复杂，并未被预先划分为界限分明、各自遵循独立原理的单元。要捕捉环境结构所需的正式与概念工具必然是多元的；而这种复杂性至少在某种程度上必然体现在我们对这些信息的心理表征之中。我们所作的推理在很大程度上取决于这些心理表征的内容，其次才取决于概率定律等一般推理原则。理解和刻画此类知识的本质，正是AI与认知科学的核心挑战之一。

事实上，正如许多有影响力的认知发展理论所假设的那样，儿童（乃至成人）应被视为从事一种类似于科学的活动（例如 Gopnik, Meltzoff, & Kuhl, 1999）。那么，贝叶斯方法对理解认知的贡献，就类似于贝叶斯运动对科学哲学的贡献——即帮助解释一般的推理模式。它对刻画支撑认知的直觉“科学”内容本身，只能提供间接帮助。

因此，理解人类知识的问题并非贝叶斯方法所特有的挑战，而是整个认知科学普遍面临的难题。概率论既不能承诺解决知识表征的问题，也不能承诺解决自然科学与社会科学的问题。然而，贝叶斯方法确实为我们提供了一个框架，有助于从这类知识中进行某些类型的推理——或许还能提供一些工具，帮助我们表征这种知识的某些有限方面。但理解人类知识及其可从中推导出的推理这一庞大任务，其核心仍在于知识本身的性质。

撇开这些免责声明不谈，贝叶斯方法或许确实有助于刻画人类知识的重要方面。我们尤其强调了在丰富、结构化的表征（包括图、语法、逻辑和编程语言）之上定义概率性知识与推理的重要性。知识的概率表征方面的相关进展也可能被证明至关重要。例如，Pearl（2000）以及Spirtes、Glymour和Schienes（1993）已在因果推理的理解方面迈出了重要步伐，特别是在概率框架内厘清“观察”与“干预”之间的区别；这项工作的某些方面可能直接适用于认知科学（另见Gerstenberg, Goodman, Lagnado, & Tenenbaum, 2021；Glymour, 2001；Sloman, 2005）。

此外，贝叶斯认知科学提供了关于知识如何被获取、表征和应用的深刻而普适的思想，且不受具体主题限制。诸如图模型、信念传播和马尔可夫链蒙特卡洛（MCMC）等概念，可能成为理解认知的富有成效的隐喻。贝叶斯框架对于捕捉将不同半自主知识领域联结成一个功能性推理系统的普遍推理原则，也可能至关重要。

S：在一篇著名文章中，古尔德和列万廷（Gould & Lewontin, 1979）指出了任何基于最优性（optimality）的解释风格都可能陷入的一个潜在陷阱：我们可能会不知不觉地效仿伏尔泰笔下的潘格洛斯教授（Professor Pangloss），将研究对象重新框定为“所有可能世界中最好的一个”。古尔德和列万廷关注的是生物学中适应主义解释可能存在的过度倾向——生物学家可能开始认为生物体的每一个特征都精妙地适应了某种环境挑战。他们指出，相比之下，生物体结构的许多方面根本不是适应的结果，而仅仅是那些真正适应性结构所产生的副产品。贝叶斯认知科学家难道不正是落入了这一陷阱吗？只要我们自由地调整关于行为主体目标和知识的假设，几乎任何思维或行为特征都可以凭借足够的巧思被解释为源自某种最优的贝叶斯计算。正如生物学中的适应主义解释一样，任何明显的反例（即偏离最优设计或行为的现象）似乎都太容易被解释掉——从而使贝叶斯主张变得不可证伪，经验上空洞无物。

B：这确实是一个值得认真对待的担忧——但对贝叶斯解释而言，它并不比对其他任何理论更严重（Dennett, 1983）。任何理论建构方式都必须接受科学解释的标准检验——不仅要看是否拟合数据，还要看是否尽可能提供简洁且具有准确预测力的解释。而且，任何科学假说都可以通过适当的特设性调整来拟合数据。正如普特南（Putnam, 1974）所指出的，即使我们观测到行星轨道是方形的，牛顿定律也可以通过假设存在某种未知来源的额外作用力来加以挽救（参见 Stanford, 2017）。因此，在“无论如何都要挽救理论”这一点上，贝叶斯认知科学家并不比其他方法的倡导者处境更好或更糟；而且，与其他方法一样，这类尝试最终将是徒劳的，因为理论会变得越来越复杂，预测能力却不断下降。

因此，问题本质上是实用性的：与其他方法相比（或结合使用时），贝叶斯方法在理解认知方面究竟有多有用？本书许多章节概述了令人鼓舞的进展；贝叶斯认知科学的文献也在迅速扩展，表明这一方法常常富有成效。我猜测这一趋势很可能会持续下去，若不在理论工具箱中纳入贝叶斯思想而去试图理解认知，多少有些荒谬。但让我们拭目以待未来几十年的发展。

S：的确，任何方法的最终效用只能通过实践来检验——或许我们可以同意，目前对此尚无定论，尽管迄今为止的一些进展颇具前景。但让我以最后一个担忧作结，这使我怀疑贝叶斯方法是否真的走在正确的道路上：这个担忧来自对神经科学的思考。

认知是由大脑产生的。然而整本书几乎未曾提及任何神经科学事实。这种方法始终是自上而下的：首先分析大脑所面临问题的本质（马尔的计算层面），以及原则上如何解决该问题；或许再考虑可用于近似求解的算法（算法层面）；最后才关心这类计算如何在神经硬件中实现（实现层面）。但说实话——我们从未真正到达实现层面，对吧？

而这难道不是一个关键步骤吗？我们终究是在对大脑进行逆向工程，而不仅仅是对心智。若不对大脑的计算机制给予足够关注，我们怎么可能成功逆向工程大脑呢？在这方面，神经网络似乎更有希望，因为其基本运作模式（由密集互连的数值处理单元构成网络，并通过调整单元间连接强度进行学习）似乎比更抽象的贝叶斯计算更接近大脑的实际运作方式。

B：这更多是一个研究策略问题，而非实质性的争论。在高层认知与底层神经科学之间建立联系，必然极其困难；而且不同分析层次之间很可能存在强约束。例如，人们早已指出，纯粹序列化的符号计算似乎与大脑缓慢而并行的硬件不相容（Feldman & Ballard, 1982）。

如果可行，一次性整合所有约束当然是极好的。在某些领域——如感知与运动控制的某些方面，以及或许基础的强化学习过程（倘若这些能与高层认知有效区分的话；Chater, 2009；Mitchell, De Houwer, & Lovibond, 2009）——多层次分析至少是可能的。事实上，这正是计算神经科学的使命，而其中很大一部分明确采用了贝叶斯视角（Doya, Ishii, Pouget, & Rao, 2007；Knill & Pouget, 2004）。

然而，当我们聚焦于本书所关注的高层认知领域时，这一目标目前看来仍遥不可及。但要实现它，我们理应逐层推进，在每一分析层次上分别开展工作，并在可能之处连接各层次，以逐步拼凑出完整图景。碰巧的是，迄今为止在马尔的计算层面和算法层面进展最为顺利——而与神经实现的联系尚未充分发展到能为物理或社会世界的推理提供神经约束的程度；我们尚不清楚如何在神经层面实现复杂的符号表征；还有许多其他挑战有待克服。目前，我们应在力所能及之处取得进展，并尽可能保持跨层次沟通渠道的畅通。

最后，不妨以乐观的语气收尾：值得强调的是，当我们能够设法满足来自多个分析层次的约束时，这种挑战实际上更可能加速而非阻碍我们的进展（Christiansen & Chater, 2016b）。无论解何种谜题，线索越多越好——更多线索能引导我们走向良好方案，淘汰错误路径。因此，在对大脑/心智进行逆向工程时，我们应尽可能利用一切可得的约束。贝叶斯认知科学在应用于高层认知时，并非总能顾及人类生物学的约束，因为我们尚不清楚神经实现如何与高度抽象的计算问题和算法相联系。但越是能整合来自不同分析层次——以及来自人工智能、认知心理学、语言学、哲学和神经科学等多元领域的洞见——我们就越能加速前进。毕竟，贝叶斯认知科学就是认知科学本身。正是这种将大脑视为计算机器的跨学科整合路径，为我们理解人类智能这一惊人现象提供了最大的希望。

结论

本书开篇提出了一个宏大的问题：我们的心智如何能从如此稀少的信息中获得如此丰富的知识？ 此后的篇章借助贝叶斯推断这一工具，为心智的逆向工程勾勒出一个解答。通过思考心智所面临计算问题的理想解，我们构建了一个框架，用以探索人类的归纳偏置（inductive biases）——这些偏置以先验分布的形式表达出来。随之而来的挑战在于：如何找到恰当的“语言”来描述这些先验分布（借助图模型、逻辑、语法和程序等结构化表征）；如何让这些先验本身也能被学习并在适当时被调用（通过分层贝叶斯、非参数贝叶斯和元学习）；以及心智与大脑如何高效、有效地运用它们（通过抽样与优化）。你所阅读的各章，正是过去二十多年沿着这些线索探索的成果，而它们全都回溯到最初那个核心理念：贝叶斯作为归纳推理的范式。

与第1章概述的逆向工程方法一致，本书采取了自上而下的多层次分析路径。

• 在 计算理论层面 ，我们将贝叶斯推断视为人类心智所面临问题的理想解；

• 在 算法层面 ，我们探讨了蒙特卡洛方法和变分推断作为近似贝叶斯的机制，并思考它们如何最好地充当通向计算层面的桥梁；

• 在 实现层面 ，我们强调了与神经网络的联系，以及不同算法如何可能在神经回路中得以表达。

在所有层次上，我们都思考了需要何种表征，才能有效、高效地表达所假设的运算，并体现出人类智能所展现的适应性与鲁棒性。最终形成的是一幅完整整合的图景：我们的心智可被理解为一种机器——它通过神经可实现的、资源理性的算法，在灵活结构化的表征层级上近似执行贝叶斯推断与决策。

这一关于人类心智的图景，同样可作为理解人工智能（AI）的透镜。尽管我们的焦点是人类认知，但我们的明确目标是：本书所呈现的思想对AI从业者同样有用。与本书所采取的路径形成对比的是，当代许多AI研究采用了更自下而上的方法：建模始于指定一个可微分的神经网络架构，辅以训练数据和损失函数，然后让智能通过基于梯度的优化从数据和损失函数中“涌现”出来。这种方法在机器学习中取得了非凡成功，但也日益暴露出AI系统与人类心智之间的巨大鸿沟。

我们认为，这些鸿沟恰恰体现在那些通过自上而下研究人类心智所凸显的能力上：归纳偏置、表征的模块性、层级性与灵活性，以及以理性适应的方式近似贝叶斯推断与决策的能力。

我们提出的逆向工程心智的“配方”——在结构化表征上进行贝叶斯推断，并通过神经上合理的算法进行合理近似——也为弥合这些鸿沟提供了一条路径。如今许多通过训练大型人工神经网络构建的AI系统，虽 loosely 受大脑启发，且未显式引用结构化表征或概率推断，但研究表明，它们实际上在隐式地做类似的事情：其内部形成的表征可被解码，从而揭示出对结构化表征的后验分布的某种类比——这些结构化表征正是系统为理解其数据而习得的。

在某些情况下，只要有足够数据和合适的架构，即使不显式构建这些组件，系统也可能学会对结构化概率模型及其推理算法的“足够好”的近似。这一方案越是成功，我们就越有理由相信，本书中的概念与工具将有助于理解这些大规模神经网络系统实际如何运作——使它们不再仅仅是“黑箱”。而当这种AI方法在实现我们对智能的期望方面仍显不足时——例如，若AI设计者希望构建能像人类一样学习和推理的系统：用更少数据、在更广泛场景中、更鲁棒且连贯地运作，并对自身不确定性及计算资源的使用具备更清晰、理性的意识——我们也相信，他们将从本书提供的工具与思想中获益，将其作为工程智能（而不仅是逆向工程智能）的明确指南。

智能机器的设计者有责任——对自己、对他们的造物、也对我们所有人——尽可能审慎地思考：如何将正确的思维机制——正确的归纳偏置、表征和计算——构建到这些系统之中。

在前述各章中，我们已提出了一些实现AI与认知科学融合的思路：

• 通过更深入理解人类的归纳偏置，我们能更好地为AI系统设定目标；

• 通过探索分层贝叶斯和元学习等方法，我们能看到这些目标如何部分通过经验达成；

• 通过发现人类如何高效近似复杂的概率推理问题，我们可获得可迁移至机器的线索；

• 通过探索在图、语法、逻辑和程序等表征上进行概率推断的潜力，我们获得了清晰描述人类归纳偏置的组件，并能以此构建更接近人类归纳能力的AI系统。

在本书第二部分，我们还勾勒了这一研究计划最重要的一些持续方向与未来路径。其中或许最重大的主题，是重新统一AI与认知科学。这两个领域仍将存在显著差异——人类智能由特定的计算约束所塑造，这些约束源自我们的生物与文化演化；而AI则处于一个不断被自身重塑的经济、技术与文化环境中，其约束条件与人类不同。然而，这两个领域仍有大量可相互借鉴之处。只要科学家与工程师使用共同的语言，逆向工程可为工程提供洞见，反之亦然。

我们希望，本书能为此种共同语言提供一部词典与语法——或至少是一本短语手册。

原文链接：https://dokumen.pub/bayesian-models-of-cognition-reverse-engineering-the-mind-1nbsped-9780262049412-9780262381048-9780262381055.html