贝叶斯定理：智能的第一性原理？

来源：市场资讯

（来源：图灵人工智能）

您想知道的人工智能干货，第一时间送达

"我一直认为计算理论是最具第一性原理（在牛顿和罗素的拉丁文 Principia 的意义上，而不是马斯克的口头禅意义上）的理论，甚至比理论物理学更为基本。" —— 尼克，《人工智能简史》

2023年8月14日，伯克利。时任 OpenAI 首席科学家 Ilya Sutskever 在演讲中说了一段让很多人愣住的话：他们坚持做 next token prediction 的理论基础，是1960年代所罗门诺夫的归纳理论和柯尔莫哥洛夫复杂性。

第一次读到这段话时，我立刻去研究所罗门诺夫归纳到底是什么。越挖越深，发现了一件令人吃惊的事：所罗门诺夫归纳的数学骨架，就是贝叶斯定理。柯尔莫哥洛夫复杂性提供了"简单性"的度量，但真正驱动整个推理引擎运转的，是贝叶斯的那个公式。

顺着这条线，我进一步了解到朱迪亚·珀尔的因果革命，底层是贝叶斯网络。卡尔·弗里斯顿的自由能原理，核心是贝叶斯推断。安全工程中最前沿的主观逻辑，是贝叶斯概率的扩展。

但说实话，珀尔的因果图工作我其实早就知道——只是当时没有意识到它和智能基础有什么深层关联。直到把所罗门诺夫、贝叶斯、大模型串起来看，才恍然：珀尔在做的事情，本质上和所罗门诺夫一样，都是在给"从证据到认知"这件事寻找严格的数学框架。

我开始有一个很强烈的直觉：贝叶斯定理可能不只是一个统计工具，它可能是信息处理、智能涌现乃至意识构成中那个最基础的东西。

这篇文章要做的，就是把这个直觉背后的证据链铺开来，让读者自己来判断。

贝叶斯定理（Bayes' Theorem）：根据新证据更新信念的数学法则。可以想象成你心里有一个"信念温度计"，每收到一条新消息，温度计就调整一格。

贝叶斯定理的数学形式极其简洁：

是先验概率，你在看到数据之前对假设 的信念。 是似然度，如果 为真，产生当前数据 的可能性。 是后验概率，看到数据之后你的新信念。

就这么简单。但这个公式的威力，远超大多数人的想象。

试想一下，你是一名医生。患者做了某种疾病筛查，结果是阳性。筛查敏感性95%（即患病者中95%会呈阳性），疾病发病率1%。直觉告诉你，患者有95%的概率患病。

贝叶斯定理告诉你：只有约16%。

因为健康人群基数太大，即使假阳性率只有5%，产生的假阳性绝对数量也远超真阳性。贝叶斯定理强迫你把"基础比率"纳入推理，不被单一证据牵着鼻子走。

这不是数学技巧。这是理性思考的底层逻辑。

从牧师到拉普拉斯：一段被遗忘又复活的历史

图1

：先验信念与新证据的天平，背后是贝叶斯出身的英国教堂。

1761年，英国长老会牧师托马斯·贝叶斯去世，留下一篇未发表的手稿。他的朋友理查德·普莱斯整理后，于1763年提交给皇家学会。

逆概率问题（Inverse Probability）：已知结果，反推原因的概率。比如你听到隔壁传来猫叫声，推断隔壁养了猫的概率有多大。

贝叶斯要解决的就是这个"逆概率"问题。在他之前，概率论只能从原因推结果（一枚均匀硬币抛出正面的概率是50%）。贝叶斯把箭头反过来了：观察到结果，推断原因。

几十年后，法国数学家拉普拉斯独立推导出同样的公式，并把它用到了天文学和人口统计学上。拉普拉斯甚至用它回答了一个经典问题：太阳连续升起了 天，明天它继续升起的概率是多少？

明天升起过去天都升起

到了20世纪，频率学派崛起，费希尔等人猛烈批评贝叶斯方法的"主观性"。贝叶斯思想被边缘化了将近半个世纪。直到计算机时代到来，马尔可夫链蒙特卡洛（MCMC）方法让贝叶斯推断在高维空间中变得可计算，贝叶斯才重新回到舞台中央。

但真正让贝叶斯定理从"统计工具"升级为"智能原理"的，是另一个人的工作。

所罗门诺夫：贝叶斯遇见图灵机

所罗门诺夫归纳（Solomonoff Induction）：将贝叶斯推理与计算理论结合，用程序长度定义先验概率的通用预测框架。可以想象成一台机器，它把世界上所有的规律都写成代码，然后按代码长短排名来预测未来。

1960年代，雷·所罗门诺夫做了一件天才的事：他解决了贝叶斯定理中最大的哲学漏洞。

贝叶斯定理需要一个先验概率 。但面对无穷多个可能的假设，先验怎么选？选错了，整个推理就歪了。

所罗门诺夫的回答：用图灵机。

任何可计算的规律，都能写成一段程序。规律越简单，程序越短。所罗门诺夫定义了一个通用先验：每个假设（程序 ）的先验概率与它的代码长度成指数反比。

是程序 的二进制长度。你每多加一个比特的复杂度，假设的先验概率就减半。

这就是奥卡姆剃刀的数学化。14世纪的哲学直觉，被精确地编码成了概率分布。

有了通用先验，预测未来的公式也就有了。给定已观察序列 ，下一个符号 出现的概率：

其中 是所有能生成序列 的程序的加权概率之和。

所罗门诺夫证明了：这种方法在预测任何可计算数据源时，没有任何归纳方法能系统性地超越它。

注意这个框架的结构：通用先验 + 贝叶斯更新 = 最优预测。贝叶斯定理是发动机，柯尔莫哥洛夫复杂性是燃料规格，所罗门诺夫归纳是整台车。

大语言模型：贝叶斯预测的万亿参数近似

柯尔莫哥洛夫复杂性（Kolmogorov Complexity）：一个字符串的"绝对信息量"，等于能生成它的最短程序的长度。可以想象成把一本书压缩到极限后的大小，压缩得越小，说明书里的规律越多。

Sutskever 在伯克利演讲中的核心论点是：要精准预测下一个词元，模型必须理解产生该词元的底层现实。

比如，预测"水加热到100°C会沸腾"，模型必须理解相变的物理机制。Sutskever 认为，如果一个模型能对普通人行为做出极高精度的预测，它就能通过在贝叶斯后验中进行"条件化"，模拟出比训练数据中任何人都更聪明的行为。这不是外推，而是条件化推理——贝叶斯的老本行。

因果革命：从"看见"到"想象"

因果推断（Causal Inference）：不仅分析"A和B相关"，还要判断"A是否导致了B"。可以想象成从"每次下雨路就湿"推进到"是雨导致了路湿，而不是路湿导致了雨"。

贝叶斯网络能有效表示变量间的概率依赖关系，但传统贝叶斯推理止步于关联分析。图灵奖得主朱迪亚·珀尔把贝叶斯网络升级为因果模型，提出了著名的"因果之梯"：

第一层：观察（Seeing）。回答"如果我看到 X，会发生什么？"纯粹的统计关联，大多数机器学习模型目前在这个层级。

第二层：干预（Doing）。回答"如果我做了 X，会发生什么？"需要引入 -算子，打破系统中原有的因果链条。比如"如果我给这个病人吃药（而不仅仅是观察到吃药的人恢复更快），会怎样？"

第三层：反事实（Imagining）。回答"如果我当时做了不同的决定，现在会怎样？"这是智能最高级的形式，涉及对未发生可能性的模拟。

-算子本身不是普通的条件概率——它表示对系统的干预，需要完整的因果图结构才能定义。珀尔的 do-calculus 提供了三个规则，可以在因果模型假设下，把干预分布转化为可由观测分布估计的概率表达式，从而打通从关联到因果的推理路径。

在自动驾驶领域，因果分析至关重要。路面湿滑与交通事故高度相关，但擦干路面并不能减少事故，因为真正的因果是降雨。贝叶斯因果图帮助工程师识别这些混杂因素，在数据不足或存在噪声时推断根本原因。

安全工程：贝叶斯如何守护生命

在安全关键系统中，贝叶斯定理的应用已经从理论走向了工程实践。这里有四个来自前沿研究的案例。

模糊因果树：SOTIF 分析的新工具

SOTIF（Safety of the Intended Functionality）：预期功能安全，关注的不是系统故障，而是系统在正常工作但设计不完善时可能造成的危害。比如摄像头在逆光下识别错误。

传统的故障树分析（FTA）用布尔逻辑：一个条件要么成立，要么不成立。但现实中的触发条件往往是连续的。黑暗不是一个开关，从黄昏到深夜是一个平滑的过渡。

Fraunhofer IKS 的 Benjamin Herd 等人提出了模糊因果树（Fuzzy Cause Trees, FCT），用模糊逻辑建模触发条件和系统不足之间的因果关系。传统方法（如贝叶斯网络）要求精确的条件概率赋值，在感知系统中这往往难以实现——光照强度、雨雾程度都是连续值，不是0或1。FCT 用隶属度函数替代布尔值，用模糊推理处理"部分满足"的情况，实现对连续不确定性的系统化安全分析。

比如分析"摄像头在低光照下误识别交通标志"的场景：光照强度不是0或1，而是一个连续值；雨雾程度、标志磨损程度同样如此。FCT 让工程师能在这种连续不确定性中进行系统化的安全分析。

主观逻辑：当证据不够时怎么办

主观逻辑（Subjective Logic）：贝叶斯概率的扩展，把单一概率值拆成三个维度——信任（belief）、不信任（disbelief）和不确定性（uncertainty）。可以想象成把"我觉得70%会下雨"升级为"我60%相信会下雨，10%相信不会，还有30%我不确定"。

标准贝叶斯推断给出一个概率值，比如"系统安全性为99%"。但如果这个99%是基于10个样本算出来的呢？和基于100万个样本算出来的99%，含义完全不同。

主观逻辑解决的就是这个问题。它把概率扩展为一个意见四元组：

• • （belief）：支持某命题为真的证据强度

• • （disbelief）：支持某命题为假的证据强度

• • （uncertainty）：因证据不足而无法判断的程度

• • （base rate）：先验基准概率，用于将三元组投影为概率期望 。

三者满足 （总和归一）， 通常取 0.5（对应最大不确定性）。通俗版本常省略 ，只说三元组，但这只是简化形式。

Herd 和 Burton 在他们的研究中展示了一个关键发现：传统 ML 指标（准确率、精确率、召回率等）倾向于高估模型性能。 当你用主观逻辑框架重新分析时，会发现那些看起来很高的指标数字背后，隐藏着大量的不确定性。

比如一个在测试集上达到99%准确率的模型，用主观逻辑分析后可能变成"87%信任它准确，1%不信任，12%不确定"。那12%的不确定性，在安全关键系统中可能就是生死之差。

安全契约：假设与保证的贝叶斯链条

安全契约（Safety Contract）：系统做出的承诺——"如果环境满足这些假设，我保证不会造成这些危害"。可以想象成一份有条件的保险合同。

同样来自 Herd 等人的工作，他们把安全论证形式化为一个条件演绎操作：从假设（Assumptions）推导出保证（Guarantees）。

用主观逻辑的条件演绎算子，系统可以根据环境假设的有效性（比如"摄像头未被遮挡"这个假设有多可信），实时计算安全保证的置信水平。假设越弱，保证越不确定。

这种方法还能处理级联不确定性。自动驾驶系统由多个模块组成，每个模块都有自己的假设和保证。上游模块的不确定性会传导到下游。贝叶斯框架让这种传导可以被精确追踪和量化。

击败者机制：用反对意见加固论证

击败者（Defeater）：安全论证中专门用来挑战现有结论的负面证据或反驳论点。可以想象成法庭上的反方律师，专门找你论证中的漏洞。

在安全论证中，"击败者"是一种辩证工具，用于挑战论证中某个节点的有效性。Herd 等人把击败者正式引入了主观逻辑框架：

当一个击败者被激活时，它会降低目标节点的信任度（），同时增加不确定性（）。这模拟了人类的辩证思维：当我们获得一条足以动摇现有假设的新信息时，贝叶斯后验会迅速偏移。

比如，你论证"感知系统在雨天也能正常工作"，击败者可能是"但测试数据中雨天样本不足50个"。这条反对意见不会直接推翻你的论证，但会显著增加论证的不确定性——这正是贝叶斯推理的精髓：不是非黑即白，而是在灰度中精确导航。

自由能原理：贝叶斯大脑与意识的涌现

图2

：大脑是一台贝叶斯推断引擎，马尔可夫毯隔绝了内在模型与外部世界。

自由能原理（Free Energy Principle, FEP）：所有生物系统都在最小化"变分自由能"，等价于不断修正自己对世界的预测模型。可以想象成你的大脑每时每刻都在猜测下一秒会发生什么，猜错了就赶紧调整。

如果贝叶斯定理是智能的第一性原理，那它应该也是生物智能的底层机制。

神经科学家卡尔·弗里斯顿的自由能原理正是这个方向的集大成之作。弗里斯顿认为，大脑是一台永不停歇的贝叶斯推断引擎。

大脑不是被动接收感官信号。它在不断产生关于外部世界的预测，然后用感官反馈来修正预测误差。看到一个球飞过来，大脑在球到达之前就已经预测了它的轨迹。如果球突然拐弯了（预测误差很大），大脑要么更新模型（"哦，原来风很大"），要么采取行动（"赶紧躲开"）。

这就是主动推理（Active Inference）：

• • 预测误差太大 → 更新模型（学习/知觉）

• • 预测误差太大 → 改变世界使其符合预测（行动）

用数学语言说，生物体在最小化变分自由能。在预测编码（predictive coding）框架和高斯假设下，这等价于最小化预测误差的期望值；在一般情况下，它同时包含两项：模型对数据的拟合精度（accuracy term）和模型的复杂度代价（complexity term），两者通过先验-似然的平衡共同决定最优推断。

是 KL 散度，衡量近似后验 和真实后验 之间的差距。最小化自由能，就是让近似后验尽可能接近真实后验（在当前模型假设下）。

弗里斯顿理论中还有一个关键概念：马尔可夫毯（Markov Blanket）。它不是物理上的膜或外壳，而是指在概率图模型中，使得系统内部状态与外部环境条件独立的那组变量——通常包含感觉状态（sensory states）和活动状态（active states）。细胞膜在生物学上近似这个统计边界，但马尔可夫毯的核心意义是条件独立的数学边界，而非物理屏障。

系统通过感知状态接收外界信息，通过活动状态作用于外界，但永远无法直接触及外界的"真实状态"。所有的认知，都是隔着马尔可夫毯的贝叶斯推断。

意识可能就涌现于这种层级化的贝叶斯建模过程。 当一个系统需要对自身的长期存续进行建模时，它必须产生关于"自我"的表征。意识，也许就是那个为了最小化长期生存风险而不得不建构的"自我模型"。

这个想法与候世达（Douglas Hofstadter）在《哥德尔、埃舍尔、巴赫》（GEB）中提出的"怪圈"（Strange Loop）不谋而合。候世达从哥德尔不完备定理出发论证：任何足够复杂的形式系统都会产生自指，而自指无法被消除。当一个系统的层级结构"往上走"最终绕回起点，底层涌现出顶层、顶层又调节底层时，因果就变成了循环。人的意识就是这样一个怪圈——几百亿无意识的神经元放电涌现出"我"这个高层符号，而"我"反过来决定该想什么、该做什么。

有意思的是，贝叶斯推断本身就是一种自指结构。大脑用先验模型预测感官输入，感官输入又反过来更新先验模型——预测修正模型，模型改变预测，循环往复。这不正是候世达所说的"底层涌现出顶层，顶层又调节底层"吗？从贝叶斯的视角看，意识不是需要额外解释的神秘现象，它是当一个贝叶斯推断系统复杂到开始对自身的推断过程进行建模时，结构上不可避免会出现的产物。不需要灵魂，不需要神秘力量——只要贝叶斯更新的层级足够深、循环足够紧密，"自我"就涌现了。

为什么贝叶斯是第一性原理

让我们拉回来看全局。

物理定律描述了物质的运行。但贝叶斯定理描述的是更底层的东西：关于规律的知识是如何被获取、验证和更新的。

领域

贝叶斯的角色

具体表现

归纳推理

通用先验 + 贝叶斯更新

所罗门诺夫归纳

大语言模型

数据压缩 + 条件预测

Next token prediction

因果分析

条件概率 + -算子

珀尔因果革命

安全工程

不确定性量化 + 证据融合

主观逻辑、模糊因果树

生物智能

预测误差最小化

自由能原理、主动推理

意识

层级化自我建模

马尔可夫毯、自我表征

这张表里的每一行，底层都是同一个公式。

所罗门诺夫用它证明了预测的最优性。Sutskever 用它解释了大模型为什么有效。珀尔用它打通了从关联到因果的路径。弗里斯顿用它统一了知觉、行动和学习。安全工程师用它在证据不足时做出可靠的判断。

贝叶斯定理之所以是第一性原理，不是因为它在数学上有多复杂，恰恰是因为它足够简单，简单到能成为所有这些看似不同的领域的共同基础。

就像牛顿的 统一了天上的星星和地上的苹果，贝叶斯定理统一了预测、学习、因果、安全和意识。它告诉我们：在信息不完整的宇宙中，一切智能行为的本质，都是根据新证据更新信念。

尼克说计算理论比理论物理更基本。我倾向于认为，贝叶斯定理可能比计算理论还要更基本。计算理论描述了"什么能被计算"，而贝叶斯定理描述了"在不确定性中如何理性地行动"。后者可以被视为前者的前提——你得先知道怎么从证据中学习，才能谈论计算什么。这当然是一个开放性的视角，而非学界定论。

这个250年前由一位英国牧师写下的公式，可能是人类发现的最深刻的真理之一。

注：本文所有观点仅代表个人观点以及调研结果， 不代表本人所在的任何组织或者公司的观点和意见。 相关结论，随着研究的深入，也可能会更新。

参考文献：

1. Bayes, T. (1763). An Essay towards solving a Problem in the Doctrine of Chances. Philosophical Transactions of the Royal Society, 53, 370-418.

2. Solomonoff, R. (1964). A Formal Theory of Inductive Inference. Information and Control, 7(1-2).

3. Pearl, J. (2018). The Book of Why: The New Science of Cause and Effect. Basic Books.

4. Friston, K. (2010). The free-energy principle: a unified brain theory? Nature Reviews Neuroscience, 11(2), 127-138.

5. Herd, B., Kreutz, A. & Trapp, M. (2025). SOTIF-Analysis Using Fuzzy Cause Trees. EDCC 2025.

6. Herd, B. & Burton, S. (2024). Can you trust your ML metrics? Using Subjective Logic to determine the true contribution of ML metrics for safety. SAC '24.

7. Herd, B. et al. (2024). A Deductive Approach to Safety Assurance using Subjective Logic. SAFECOMP 2024 Workshops.

8. Herd, B. et al. (2025). Integrating Defeaters into Subjective Logic-based Quantitative Assurance Arguments. EDCC 2025.

9. 尼克 (2024). 《人工智能简史》第3版. 人民邮电出版社.

10. Hofstadter, D. (1979). Gödel, Escher, Bach: An Eternal Golden Braid. Basic Books.