章彦博：智能，来自可学习的新奇

导语

智能既不诞生于一成不变的秩序，也不藏身于不可理解的混沌。这篇2026年7月20日发表于arXiv的论文《Intelligence from Learnable Novelty》提出，智能的共同动力或许在于追寻“可学习的新奇”：不断接触新的经验，并将其中可理解、可压缩的结构转化为知识。这一原则如何同时催生复杂计算、抽象表征与主动探索？

关键词：智能，噪声，强化学习

来源： 集智俱乐部

作者： 章彦博（论文一作）

论文题目：Intelligence from learnable novelty 论文链接：https://arxiv.org/html/2607.18433v1 发表时间：2026年7月20日 论文来源：arXiv

智能，来自可学习的新奇

智能究竟是什么？不同领域常常给出截然不同的答案。在统计学和机器学习中，智能意味着从纷繁的数据中发现规律，把复杂的世界压缩成简洁的模型；在复杂系统研究中，智能常与计算能力相连，一个看似简单的系统也可能演化出通用计算；而当我们谈论动物或机器人时，智能又表现为探索环境、适应变化，并作出合宜的行动。

压缩、计算和适应，看起来像是三件不同的事。它们由不同的学科研究，也各自拥有一套理论和方法。然而，如果智能确实是一种可以跨越大脑、机器乃至生命形态的性质，那么这些彼此分散的现象背后，或许藏着同一个更简单的原则。

在2026年7月20日于arXiv发表的论文《Intelligence from learnable novelty》中，我们提出了这样一种可能：智能来自对「可学习的新奇性」（Learnable Novelty）的追寻。一个有智能的系统不会满足于一成不变，也不会沉迷于毫无规律的混乱。它会不断寻找新的经验，并把其中能够理解的部分变成自己的知识。

我们尝试用 Learnable Novelty 观察三种看似无关的系统。用它衡量元胞自动机，得分最高的是能够进行通用计算的 110 号规则；用它训练图像编码器，手写数字的类别在没有标签的情况下自行显现；把它交给强化学习智能体，又会变成一种探索环境的内在动力。复杂计算、抽象表征和主动探索，也许并非智能的三种不同来源，而是同一条原则投在不同系统上的影子。

这条原则是怎样来的？要回答这个问题，先要从两种颇有影响、却似乎背道而驰的智能理论说起。

暗室与噪声

如今，关于智能有两种颇有影响、却看似方向相反的理论。一种是卡尔·弗里斯顿（Karl Friston）的主动推理，也叫自由能原理。它认为，生命以及各种智能系统都会尽力减小预测误差。另一种则源自肯尼斯·斯坦利（Kenneth Stanley）的新奇性搜索（Novelty Search）：智能系统还有一种重要的内在动力，那就是追寻新奇。研究发现，一个追寻新奇的系统，反而更容易解决那些具有欺骗性的任务。

一边想减少惊奇，一边想追逐惊奇，两者似乎不可能同时成立。更麻烦的是，它们各自走到极端时，都会落入一个著名的陷阱。

如果生命的要务只是让一切变得容易预测，最省事的办法便是躲进一间暗室。那里没有变化，也没有意外，只须一遍遍预测「接下来仍是什么也不会发生」，便可以把预测误差压到很低。这就是所谓的「暗室问题」。

新奇性搜索面对的则是「噪声电视问题」。一台没有信号的老式电视，屏幕上的雪花每一秒都不同。若系统只奖励未曾见过的东西，它大可永远守在电视机前：眼前无时无刻不在更新，却什么也学不到。传统的新奇性搜索通常要由研究者事先规定「行为空间」，把所有电视雪花归作同一种行为，以免系统钻这个空子。但这样一来，何谓新奇，仍须由外界替它决定。

暗室毫无意外，噪声电视处处意外；一个贫乏得不值得学习，一个混乱得无从学习。它们看似位于两个极端，病根却是同一个：我们把两种截然不同的惊奇混在了一起——一种能够转化为知识，另一种永远只是噪声。

如果把二者分开，矛盾也就松开了。智能既不必逃避一切新奇，也不必追逐一切新奇；它真正追寻的，应当是那些可以学会的新东西。我们把它称为「可学习的新奇性」。

新奇即学习，学习即智能

2026 年初，Finzi 等人提出了一个名为 Epiplexity 的信息度量。它关心的不是一段数据总共含有多少信息，而是一个能力有限的观察者究竟能从中学走多少。能被观察者提炼成规律的部分，是 Epiplexity；无论看多久也无法掌握的部分，则是噪声。两者相加，构成这段数据在该观察者眼中的最小描述长度。

理解这个概念，不妨想象一个逐日学习天气的孩子。第一天，他没有经验，明天的一切都可能令他意外。日子久了，他逐渐懂得季节更替、云层变化与气温之间的关系，预测也越来越准。可即使如此，测量误差和真正偶然的扰动仍会留下一个无法消除的「底噪」。从最初的茫然到最后的稳定，预测误差所减少的那一部分，正是他从数据中学到的结构。

渐进编码（Prequential Coding）把这个过程写成了信息论。观察者每收到一个新样本，都要先作预测，再为预测失误付出相应的编码代价，随后更新模型。将整个学习过程中的惊奇逐次累加，就得到数据的描述长度。沿着学习曲线看，最终降不下去的部分是不可学习的噪声；高于这层底噪的部分，则对应观察者最终掌握的程序。

图1：观察者在学习过程中逐渐吸收数据里的规律，惊奇随之下降，最后只剩无法消除的噪声。噪声电视处处意外，却无规律可学；暗室毫无意外，也无物可学。

这也解释了暗室与噪声电视为何会误导旧有目标。暗室几乎没有惊奇，因此既没有噪声，也没有多少结构可学。噪声电视固然惊奇无穷，其中却没有可以反复利用的规律，所有信息几乎都落入不可学习的残差。若最大化总惊奇，系统会沉迷噪声；若最小化总惊奇，系统又会连同有价值的结构一道舍弃。可学习的新奇性只取中间那一部分：它奖励能够成为知识的新异，也排除无法压缩的混乱。

Epiplexity 原本是对既有数据的度量。我们换了一个角度，把同一个量当作系统主动追求的目标，于是 Epiplexity 便有了动力学意义：系统不再只是「拥有」多少可学习的结构，而会朝着能产生更多可学习结构的方向变化。

这也让「学习即智能」有了更具体的含义。ARC-AGI 的提出者弗朗索瓦·肖莱（François Chollet）主张，智能不在于一个系统预先记住了多少，而在于它面对陌生问题时，能以多高的效率获得新能力。更早的通用人工智能模型 AIXI，也把索洛莫诺夫归纳这样的通用学习器放在核心位置。两者所指向的都是同一件事：一个系统能有多聪明，首先受限于它能从经验中学到什么。

若一种动力系统想持续产生可学习的新奇，它就不能永远静止，也不能彻底陷入混沌。太有序，无物可学；太混乱，无从学起。最丰饶的区域位于秩序与混沌之间，那里可以出现稳定传播、彼此碰撞并组合信息的结构，也可能孕育通用计算。

若一个图像编码器追求可学习的新奇，它就必须忽略所有图片共有的冗余，保留那些既彼此不同、又能由有限观察者把握的变化。如此得到的表征，应当逐渐显露数据本身的类别结构。

若一个强化学习智能体追求未来轨迹中的可学习新奇，它便有理由离开原地，避开让行动戛然而止的死路，继续探索那些丰富而有规律的状态。可学习的新奇性因而可能以三种面貌出现：在动力系统中是复杂计算，在表征学习中是抽象与压缩，在智能体身上则是探索和适应。

Epiplexity 的闭式估计

这个想法若要成为可用的目标，还差关键的一步：怎样快速算出 Epiplexity？

原始方法需要完整训练一个神经网络，再观察它的损失曲线。这样当然可以估计一段数据里有多少东西可学，代价却不小：每测一次，都要重新训练一个模型。若想把 Epiplexity 当作目标，让一个系统在成千上万次更新中不断提高它，这个办法就太慢了。

我们的办法，是回到算法信息论最朴素的出发点。要测量一个程序有多长，总得先有一个编译器。我们于是选择储备池计算机（Reservoir Computer）充当这个观察者，也可以把它想成一台固定的编译器。它前面的神经网络是随机生成的，生成之后便不再改变；真正需要学习的，只有最后一层读出。

储备池先把输入 X 变成一组固定的特征 H=Φ(X)，读出层再用权重 W，从这些特征预测目标 Y。省去不影响直觉的标准化步骤，这层权重可以写成一条岭回归：

等号右边便是它的闭式解：数据一旦给定，权重可以一步算出，不必再反复训练神经网络。其中，λ 会压低不必要的大权重，让观察者倾向于用更短的「程序」解释数据。

观察者从数据中学到的「程序」，也就浓缩在这层读出的权重里。权重中若有许多重复，说明它只是在反复表达同一种规律；若出现更多彼此独立的方向，才说明它真正学到了更丰富的结构。我们测量这部分权重需要多少信息来描述，就得到 Epiplexity 的近似值。

具体来说，设 是读出权重的奇异值，我们最终使用的闭式估计为：

每一个较大的奇异值，都代表观察者学到了一条新的独立规律；若几条规律彼此重复，它们便不会反复增加分数。参数 η 决定这把尺子的精度。整套计算只剩一次矩阵求解和一次奇异值分解，因而算得很快，而且可以求导。于是，Epiplexity 不再只是一把事后打分的尺子。它的梯度可以沿着计算过程一路传回去，改变产生数据的系统，让系统主动生长出更多可学习的结构。

这里还有一个很有意思的转变：我们不再追问一段数据「客观上」有多复杂，而是追问一个具体的观察者能从中学到多少。同一盘棋，初学者看到的是零散的棋子，高手看到的却是布局、攻守和将要发生的变化。智能也许从来不只属于被观察的系统，它也存在于系统与学习者之间。

元胞自动机：在秩序与混沌之间

我们首先把这把尺子用在一维初等元胞自动机上。每个格子只有黑白两种状态，下一刻取何状态，只由自身和左右邻居决定。规则本身极其短小，却能产生从静止、周期振荡到混沌和复杂计算的各种行为。其中，110 号规则已经证明具有图灵完备性，可以模拟通用计算。

去除左右镜像和黑白互换等对称性后，初等元胞自动机共有 88 条本质不同的规则。我们不训练这些规则，只让固定的储备池观察它们的演化，并逐一测量可学习的新奇性。结果，110 号规则在全部规则中得分最高；落入恒定状态的规则得分为零，近乎平凡的周期规则 1 和规则 2 得分很低，著名的混沌规则 30 居于中间，低于会产生复杂结构的规则 54。仅凭一个未经监督的标量，这把尺子便重现了数十年复杂系统研究积累下来的大体排序。

图2：不同初等元胞自动机的可学习新奇性。能够进行通用计算的 110 号规则得分最高；上方小图展示了几条代表性规则的时空演化。

测量之后，我们又反过来问：如果直接让一个可微分的神经元胞自动机追求更高的可学习新奇，会发生什么？训练开始时，它的演化十分简单。随着分数上升，规则逐渐长出一簇簇稳定移动的局域结构。这些「孤子」会以固定速度传播，也会在相遇时碰撞、改变和重组。110 号规则正是依靠类似结构传递并组合信息。不同的更新形式和随机初值都反复抵达这一状态，说明它并非某次偶然产生的漂亮图案，而是追求可学习新奇时自然出现的动力学区域：规律足以传播，变化又足以不断产生新的组合。

图3：四次独立训练中，神经元胞自动机都生长出了复杂的时空结构。斜向延伸的纹理意味着局部结构正在传播，彼此相遇时还会发生碰撞与重组。纵向为时间。

图像编码器：没有标签的类别

接着，我们让一个随机初始化的编码器读取 MNIST 手写数字图片，将每张图压成一个 64 维向量。训练过程中，模型从未见过「这是 3」或「这是 8」这样的标签；它唯一的目标，是让这些向量对固定观察者而言包含尽可能多的可学习新奇。

起初，十种数字的表征混杂在一起。训练推进后，它们逐渐聚成彼此分离的区域。标签虽未参与训练，我们仍可以在事后用标签检查这些表征：线性探针和五近邻分类器的准确率最终都达到 89%。换言之，仅仅追求可学习的新奇，编码器便自行发现了数据中最重要的区别之一——数字的类别。

图4：训练初期，十种数字的表征混杂在一起；随着可学习新奇性上升，它们逐渐聚成清楚的类别。图中的颜色只用于事后观察，从未参与训练。

其中的道理并不神秘。MNIST 图片里有大片共同的黑色背景，这些像素虽占空间，却几乎不能区分样本，反复编码也不会增加多少新结构。完全随机的细枝末节同样难以被观察者掌握。若要提高分数，编码器只好舍弃这些冗余和噪声，抓住那些在不同图片间确有变化、又能稳定复现的因素。在这批数据里，最醒目的因素恰好是数字本身。于是，压缩与抽象不再需要分别规定目标，它们成了追求可学习新奇的同一个结果。

强化学习：探索，但不沉迷噪声

最后，我们把轨迹的 Epiplexity 交给强化学习智能体，作为一份内在奖励。智能体每走一步，固定的观察者都会估计：新状态让整段轨迹增加了多少可学习的结构。这一增量与环境原有的任务奖励相加，鼓励智能体在奔向目标的同时，继续探索丰富而连贯的行为。

在经典控制、运动控制和迷宫导航等十个环境中，这份奖励在九个环境里超过了只用任务奖励的基线，没有一次导致训练崩溃。在奖励稀疏或带有欺骗性的任务中，作用尤其明显。小车必须先左右摆动才能积蓄冲上山坡的动量，杂技机器人也要反复摆荡，才够得到高处的横杆。单靠稀少的任务奖励，许多随机种子找不到这条路；加入可学习新奇后，探索明显稳定下来。

不过，可学习的新奇性并不等于任务本身。若彻底拿掉外部奖励，智能体通常不会凭空猜中研究者希望它完成什么。对某些环境而言，达成目标意味着回合结束，纯粹追求新奇的智能体甚至会故意避开终点，好让经验继续增长。它更适合作为探索的动力，而不是目标的替身：任务奖励指出方向，可学习的新奇性帮助智能体找到通往那里的路。

这也正是它与普通预测误差奖励的差别。后者容易爱上永远预测不准的噪声，前者只奖励观察者能够压缩的轨迹。智能体所追逐的不是「我还猜不到什么」，而是「我还能从什么里面学到东西」。

结语：从人工智能到智能科学

复杂动力学、抽象表征与主动探索，过去分属不同领域，也各有一套互不相干的目标函数。在我们的实验里，它们却从同一个量中出现：一个能力有限的观察者，持续追求自己能够学会的新奇。

然而，真正值得重视的，也许不是某一种算法，而是研究视角的变化。我们知道人有智能，也承认许多生物拥有智能；如今又造出了人工智能。可是，神经系统、人工神经网络和动物群体所凭借的物质基础如此不同，我们仍习惯以某一种具体实现为中心，分别研究人脑、模型或群体行为，较少直接追问智能这种性质本身。

我愿意把这门尚在形成中的研究称为「智能科学」。它关心的不是如何复刻某一种看起来聪明的东西，而是哪些原则能跨越不同载体，反复产生学习、计算、抽象与适应。人脑凭神经元活动形成心智，大语言模型从人工神经网络和海量数据中获得能力，蚂蚁与飞鸟则凭个体之间的简单互动，在群体层面表现出判断和协作。它们的材料与结构相去甚远，却都显露出我们称为智能的性质。

智能或许很像飞行。很久以前，人们看见鸟儿振翅飞翔，便把飞行的秘密归于羽毛。神话中有羽化登仙、霓裳羽衣——仿佛披上羽毛，人也能升入天空。后来我们才明白，飞行真正依靠的是能够产生升力的结构；羽毛是鸟的答案，翅膀背后的原理才是更普遍的答案。

这种「羽毛与翅膀」的错认，在科学史上反复出现。研究智能时，我们也该不时自问：眼前这些醒目的规模、架构和行为，究竟是智能赖以成立的原理，还是某一种智能偶然披上的羽毛？