跳出大模型：通用人工智能发展简史

来源：市场资讯

（来源：图灵人工智能）

转自X4AI，仅用于学术分享，如有侵权留言删除报道

提到通用人工智能AGI，很多人第一反应就是大模型。但很少有人知道，早在大模型诞生之前，就已经有一套完整、严谨的通用人工智能数学理论——AIXI理论。

它不依赖神经网络，不靠海量真实数据训练，从奥卡姆剃刀、贝叶斯推理这些基础原理出发，在数学上定义了「理想状态下的最优通用智能体」。

虽然AIXI本身是不可计算的“理论灯塔”，无法直接在电脑上跑出来，但是它奠定了机器智能形式化度量的思想根基，深刻影响了后世对“什么是智能”的思考。

今天这篇文章，我们就来梳理这条偏向理论的AGI发展脉络：从哲学原则到算法信息论，再到AIXI与通用智能度量。

一、长久的难题，到底什么是智能？

1950年，图灵发表《计算机器与智能》，抛出经典问题：机器可以思考吗？

为了绕开“思考”这个模糊的哲学概念，图灵提出著名的图灵测试：如果人类裁判无法通过文本对话区分机器和人类，则可以认为机器具备智能。

图灵测试影响深远，但它有一个致命局限：它测试的是“机器模仿人类的像不像”，而不是真正广义上的智能。

一个机器可以靠巨型查表，背诵所有对话答案骗过裁判，但它完全不理解对话内容，也无法处理查表之外的任何新任务。 对于和人类感知、认知完全不一样的系统，图灵测试就更加难以适用。

问题随之而来：能不能跳出“模仿人类”，找到一套普适标准，去衡量任意智能体（人、动物、机器）的智能水平？

这一追问，催生了后来以AIXI为代表的通用人工智能理论。

二、理论基石：四大古老原则，数学化的智能哲学

AIXI并不是凭空诞生，它建立在几条跨越千年的思想原则之上，后被算法信息论严格数学化。

✂️奥卡姆剃刀：如无必要，勿增实体

如果多个假说都可以解释观测到的现象，优先选择最简单的那一个。

日常生活、IQ测试的模式推理，都在无意识使用这条准则。但哲学原则本身是定性的，如何让计算机自动判断“哪个假说更简单”？这需要一套可以量化“复杂度”的工具。

伊壁鸠鲁多解释原则

如果多个理论都符合观测事实，不要轻易丢弃任何一个可行的假说。

我们不能只保留自己偏好的简单理论，需要同时保留全部符合证据的候选解释，再根据新的观测逐步筛选淘汰。

贝叶斯推理：根据证据更新信念

贝叶斯条件概率，提供了一套严谨的数学工具：拿到新的观测数据之后，如何更新不同假说成立的概率。 公式简写：后验概率 ∝ 似然 × 先验概率。

贝叶斯框架很好，但有一个绕不开的痛点：在一无所知的情况下，我们该如何设定先验概率？

️图灵通用机：什么叫做“可计算”

图灵证明：任何可以通过固定步骤完成的计算，都可以由一台通用图灵机完成。 这为“描述世界、描述假说”提供统一载体：一切假说都可以写成图灵机的程序。

三、算法信息论：把“简单”这件事算出来

上面四条原则，在20世纪60年代被数学家融合，诞生了算法信息论，这是AIXI的底层土壤。

1. 柯尔莫哥洛夫复杂度

一个对象的复杂度 = 在通用图灵机上，能够生成该对象的最短程序的长度。

一段规律重复的序列，可以用很短的程序生成，柯尔莫哥洛夫复杂度很低； 完全随机无规律的字符串，不存在简短描述，复杂度很高。

它给“奥卡姆剃刀”提供了客观的数学标尺：程序越短，假说越简单。

2. 所罗门诺夫通用先验

所罗门诺夫把奥卡姆剃刀、伊壁鸠鲁原则、贝叶斯推理、图灵机四者融合，提出所罗门诺夫通用先验：

(K(H))就是假说H的柯尔莫哥洛夫复杂度；

假说越简单（K越小），分配到的先验概率就越高。

这就解决了贝叶斯推理最大难题：完全没有先验知识的时候，如何自动给各个假说分配初始概率。

所罗门诺夫归纳实现了通用预测：面对未知的序列，不需要人为设置先验，就可以对未来做出最优的预测。

注意：所罗门诺夫通用先验同样是不可计算的，只能做近似。

3. 贝尔曼方程：未知环境下怎么做最优决策？

所罗门诺夫解决的是预测问题：根据历史观测，预测接下来会发生什么。 但智能不只有预测，还要行动、做决策、达成目标。

贝尔曼方程来自动态规划，描述智能体如何权衡即时奖励和未来回报，在已知环境中做出最优序贯决策。

所罗门诺夫通用预测（预测） + 贝尔曼最优决策（行动） = AIXI 通用人工智能理论

四、AIXI：数学上的理想最优通用智能体

2005年，Marcus Hutter在专著《Universal Artificial Intelligence》正式完整提出AIXI模型。

AIXI核心思想

AIXI是一个理想化智能体，处在未知的交互环境中：

接收环境传来的观测与奖励信号；

使用所罗门诺夫通用先验，维护所有可能的环境假说；

利用贝尔曼方程，对未来所有交互序列做推演；

选择能够最大化未来期望累计奖励的动作输出。

从理论上说：面对任意可计算的未知环境，AIXI的表现不弱于任何其他可计算智能体。它是通用智能的理论性能上限。

但是非常关键：AIXI是不可计算的。因为底层依赖柯尔莫哥洛夫复杂度与所罗门诺夫先验，没有计算机可以完整运行原版AIXI。它更像物理学里的“理想气体”，是思想实验模型，给研究者指明方向，而不是直接落地实现的工程代码。

于是就引出下一个问题：既然AIXI跑不出来，我们能不能用它的思想，给出机器智能的度量标准？

五、Legg‑Hutter通用智能：智能的形式化定义

2007年，Shane Legg与Marcus Hutter发表里程碑论文《Universal Intelligence: A Definition of Machine Intelligence》。

作者梳理大量心理学家对人类智能的定义，萃取得到非正式定义：

✨智能衡量一个智能体，在广泛多样的环境当中达成目标的能力。

在此基础上，基于 AIXI 理论推导出通用智能度量 Υ(π)。

通俗来讲：给智能体丢进各种各样不同的环境，看它完成目标拿到奖励的整体表现；简单环境权重更高，综合得分就是这个智能体的通用智能分数。

这套定义最大的优点：非人类中心主义。不需要模仿人类说话、不需要具备人类感官；人、动物、机器人、算法都可以用同一套标准评判。

局限依旧存在：

柯尔莫哥洛夫复杂度不可直接计算，Υ(π)无法直接算出真实机器的分数；

权重依赖参考通用图灵机，存在微小常数偏移；

原始度量不考虑智能体消耗多少算力，无法区分暴力算力堆砌和高效学习。

六、AIXI理论之后：理论的延续与现实困境

AIXI和通用智能度量虽然不能直接运行，但是深刻塑造了AGI理论研究方向：

AIXI的可计算近似研究

学者提出AIXI‑tl、AIXI‑ξ等资源受限近似版本，给模型加上时间、内存约束，研究有限算力下逼近理想通用智能的可能性。Schmidhuber提出Speed‑Prior速度先验，在原先验中加入计算开销代价，弥补原模型忽略算力的短板。

机器智能评测新思路

Legg‑Hutter思想启发很多现代评测设计：评测不局限单一任务，看重跨多种陌生环境的学习与适应能力，例如ARC抽象推理数据集。

现实的鸿沟

现实世界的环境集合巨大复杂，我们永远只能采样一小部分环境去测试AI；理论中“全部可计算环境”，工程上无法穷尽。

很多人会混淆：AIXI ≠ 大模型。 大模型是工程产物，依靠海量真实文本数据统计拟合；AIXI是纯粹数学理论，依靠算法信息论，不需要真实训练数据集。二者出发点完全不一样。

✍️写在最后

从奥卡姆剃刀哲学，到柯尔莫哥洛夫复杂度、所罗门诺夫先验，再到AIXI理想智能体、Legg‑Hutter通用智能度量，这一套理论给我们提供了一套思考“智能是什么”的思想坐标系。

AIXI就像远方的灯塔，它告诉我们理想的通用智能在数学上应该是什么样子，但灯塔本身，你无法抵达。

它提醒我们一个核心问题： 评判智能，不该看它模仿人类有多像，而要看它面对各式各样全新环境，完成目标、学习适应的综合能力。

时至今日，如何构造AIXI的实用近似，设计可落地、非人类中心主义的机器智能评测体系，依然是通用人工智能领域最重要的开放科学问题。

Solomonoff R J. A formal theory of inductive inference, Information and Control, 1964

Hutter M. Universal Artificial Intelligence: Sequential Decisions based on Algorithmic Probability, 2005

Legg S, Hutter M. Universal Intelligence: A Definition of Machine Intelligence, Minds and Machines, 2007