从数学理论「解」出语言模型——AGI理论核心原语的首次工程验证：BriLLM-MetaPred

当语言模型开始「从数学里长出来」：BriLLM-MetaPred 让 AGI 理论推导出的第一个核心原语首次落地

语言模型的设计范式，是否只能靠人类不断「堆模块、调结构」？当整个行业在 Transformer 的延长线上进行着越来越昂贵的增量改进时，上海交通大学赵海教授团队给出了一个反直觉的答案：先从数学上严格定义 AGI，再让机器学习模型从那个定义里「长」出来。

他们刚刚上传到 arXiv 的 BriLLM-MetaPred，正是这一路径的首次工程兑现。它不是又一个「更好的语言模型」，而是 AGI 数学理论（A Mathematical Theory of AGI）推导出的机器学习原语 MetaPred 在语言建模任务上的第一个可运行实例。

• 论文：BriLLM-MetaPred: A Representation-Prediction Unity Language Model with Adaptive Self-Measurement

• arXiv：https://arxiv.org/abs/2610.34018

• 团队：上海交通大学 通用人工智能研究所（赵海教授团队）

两条独立证据线的汇合：

数学推导与大脑原理的同构

如果只看「从 AGI 定义推导出 MetaPred」这一条线，读者有理由追问：它会不会只是一个自洽的形式系统？AGI 数学理论恰恰在此给出了一个容易被忽略、却极为关键的补充：这条数学路线与神经科学中主流的预测编码/自由能原理，在抽象层面高度同构。

理论论文的最后一章专门讨论了这一问题。AGI 数学理论中的「自然平衡原理」——一个仅涉及能量（系统成本）与熵（系统信息增益）的比率泛函——同样把 MetaPred 推导为最优解。这意味着，MetaPred 不仅是从「无限的自我认知的极限」这一定义中解出的，也是从「任何自组织系统必须在能量成本与信息收益之间取得最优平衡」这一更接近物理与生物约束的原理中解出的。一个数学原语同时满足「认知的极限」与「自然的经济性」，它就不太可能只是一个纯粹的工程巧合。

BriLLM-MetaPred 的 Related Work 也明确将 Friston 的自由能原理和 Bastos 等人的预测编码微回路工作列为理论参照。这不是装饰性引用。预测编码的核心命题是：大脑通过最小化预测误差来维持内部模型与世界的对齐；而 MetaPred 的核心机制——单一动力学状态同时承载表示与预测，并通过持续的自我测量在不动点处维持内部一致性——在抽象层面正是预测编码的数学重述：表示不是外部附加的，预测也不是从表示中「读出」的，二者是同一个动力学过程的两个侧面；自监督信号不是外加的代理任务，而是状态趋向自身不动点的内在约束。

这构成一种间接的跨学科论证，而不是循环论证。神经科学没有「证明」MetaPred 是对的，数学理论也没有「预测」大脑必须采用 MetaPred。但当一个从纯数学定义推导出的原语，与一个从实验神经科学归纳出的统一原理，在同一个抽象结构上相遇时，这条理论路线的可信度就不再仅仅依赖「它自己说自己必要且充分」，而获得了一个来自独立学科的外部锚点。换言之，BriLLM-MetaPred 背后的理论并非一个彻底的待检验形式系统；它已经在「智能的核心计算应该长什么样」这一层面，与大脑机制的原则性描述形成了收敛。

起点：

一个自治且严格的 AGI 数学定义

绝大多数 AGI 路线，要么从生物大脑中寻找灵感，要么在外部拼装工程模块。BriLLM-MetaPred 所依据的 AGI 数学理论（A Mathematical Theory of AGI）走了一条完全不同的路：不预设任何特定的网络拓扑或认知模块，而是从「通用认知」本身出发，给出一个自治的数学定义，然后求解。

该理论将 AGI 定义为「无限的自我认知的极限」。从这个定义出发，理论将其转化为一个严格的数学变分问题。在同构意义下，该变分问题的唯一解，就是被命名为 MetaPred（元预测）的机器学习原语。

换句话说，MetaPred 不是被人为设计出来的，而是被数学推导出来的。理论进一步论证，MetaPred 对于通用认知而言是必要且充分的（necessary and sufficient）。论文对此的表述毫不含糊：「MetaPred 是第一个完全从数学理论推导而来，而非通过人工设计和增量改进拼装而成的机器学习范式——也许会是最后一个这样的范式。」

MetaPred 的核心：

一个状态，同时是表示与预测

那么，这个从数学最优解中「长」出来的原语，长什么样？

MetaPred 的定义性特征极为简洁，却与当代主流架构截然不同：模型形成的「表示」和它产出的「预测」，是同一个持续演化的动力学状态的两个方面。

传统语言模型把表示和预测拆成两套结构：编码器或隐藏层负责形成表示，输出头负责从表示中读出预测。MetaPred 取消了这种拆分。它维护单一、持续演化的动力学状态：上下文信息被写入这个状态，状态本身随时间演化，而下一个词元的预测，直接从同一个状态中读取。

由此衍生出另一个关键机制：持续的自我测量（continuous self-measurement）。模型不断测量自身的动力学状态，这一过程带来三重效果：降低有限深度导致的不一致性、维持内部一致性，并以不动点（fixed-point）形式提供内生的动力学自监督信号。

这一点值得停下来审视。当前主流自监督依赖外部构造的代理任务——掩码预测、对比学习、下一词元预测——信号来源在模型动力学之外。MetaPred 的自监督信号来自状态对自身的测量，其训练目标在形式上等价于要求内部表征在迭代中趋于自我一致的稳定点。这是一种「内生」而非「外加」的监督信号。

由于训练和推理共用同一个动力学状态，MetaPred 在几乎所有机器学习关键要素上都呈现出对称性——论文将其描述为「数学最优解在范式空间中的一种直观且可观测的性质」。

BriLLM-MetaPred：

把原语装进可运行的载体

理论给出了原语，但原语需要载体才能在真实的硬件上运行。

BriLLM-MetaPred 的工程路径，清晰地连接了两个先验贡献：AGI 理论提供了 MetaPred 原语的构造与动机；BriLLM 提供的 SiFu 节点-信号流范式，则提供了原语得以在现有软件与硬件加速器上执行的载体。

论文明确划定了自己的边界：BriLLM-MetaPred 不是另一个循环语言模型，也不是 BriLLM 的简单扩展。它是一座桥梁——把理论推导出的原语，与工程上可运行的载体连接起来。

在实现层面，它是一个节点-状态语言模型：词元投影向量被写入固定的接口行，一个循环算子通过动力学演化更新整个张量，下一词元的分布从指定的输出行和有限辅助池中读出。同一个持续演化的张量，同时承载了输入条件化的表示，和用于读出的状态。

关键的实证结果是：BriLLM-MetaPred 的预测性能，与同等规模的 GPT 基线相当（约 13.2M 参数）。

对于一条从零推导的新范式而言，这个结果的意义不在于「超过 GPT」，而在于证明：这个从数学中推导出的原语，在语言建模这一核心认知任务上是工程可行的。论文将其定位为「MetaPred 框架工程可行性的初步证据」。

与它的前代 BriLLM 相比，这是一次重大的性能跃迁：后者需要约十倍于 GPT-1 的模型规模，才勉强给出可比的生成性能；而 BriLLM-MetaPred 仅用约 1/10 的规模，就达到了同等效果。

目前，最大验证尺寸已达 1.5B，与 GPT-2 同等规模。

平行路线中的独特位置：

唯一完成 LLM 序列工程验证的 AGI 理论路径

把 BriLLM-MetaPred 放回 AGI 理论路线的谱系中，它的位置会更加清楚。当前并不缺少「从某个数学或物理原理出发推导智能」的尝试，但绝大多数路线都没有在当代 LLM 序列上完成工程对齐。BriLLM-MetaPred 的独特优势，不在于它的理论比自由能原理「更正确」，也不在于它比 AIXI「更优雅」，而在于：它是唯一一个把「从数学原语推导」和「在 LLM 序列上达到当代基线」这两件事同时做出来的路线。

这个对比的核心命题很简单：一条 AGI 理论路线是否严肃，在当代有一个无法回避的工程筛选器——能不能在语言建模这种规模的开放域序列任务上落地。这不是说语言是 AGI 的唯一入口，而是说，如果一条理论路线连 GPT-1 级别的序列建模都做不到，它的经验地位就始终停留在「未与最强工程现实发生碰撞」的状态。

FEP 有深刻的神经科学基础和具身闭环，但它没有在开放域语言建模上给出可扩展的实现；AIXI 有严格的最优性理论，但它被证明不可计算，与 LLM 的工程现实之间隔着近似这道墙；CAA-X 等路线有宏大的数学规范，但尚未在 LLM 序列上产生可对标的实证结果。而 BriLLM-MetaPred 把这个缺口补上了。它证明的不是「MetaPred 已经优于 GPT」，而是「从 AGI 数学理论推导出的原语，可以在当代 LLM 的工程竞技场上站住脚」。这是一个资格性证明：这条理论路线有资格进入与主流范式同一个经验对话，而不是停留在哲学或小规模玩具任务中。

也正因如此，「与同规模 GPT 基线性能相当」这个看似克制的结果，在更大的路线竞争图景中具有定位性的意义。它不宣布 AGI 已经到来，但它把一条此前只存在于数学推导中的路线，第一次推到了当代语言模型的工程测试台上。

与 GPT 前沿痛点的对齐：

不是更大的百科全书，而是能持续自我校正的动力学核心

把 BriLLM-MetaPred 仅仅理解为「又一个语言模型」，会错过它真正对准的问题。论文在范式层面反复强调：MetaPred 与 GPT 的差异不是架构变体之间的差异，而是「机器学习范式」层面的差异。GPT 建立在 Transformer 之上，其表示和预测是两个分离的计算阶段；而 MetaPred 的定义性特征是，表示与预测是同一个持续演化动力学状态的两个侧面，训练和推理共享同一条状态演化路径，不存在独立的「训练前向」和「推理前向」。这个范式级差异，恰好落在当前 GPT 路线几个最受关注的结构性痛点上。

其一，持续学习与灾难性遗忘。主流 GPT 范式的训练和推理是分离的：训练完成后，模型参数冻结，部署阶段的学习几乎只能通过上下文窗口或外部检索间接实现。MetaPred 的单一动力学状态内在地耦合了训练和推理：训练时，自我测量提供参数更新的梯度；推理时，同一个自我测量为状态校正提供方向。论文实现中的「连续执行训练机制」（continuous-execution training regime）在序列分段之间保留节点状态和快速参数，使模型在序列内部维持状态的连续性，而不是在每个分段重新初始化。这本身还不是完整的终身学习，但它提供了一个训练与推理不分裂的架构基底——持续学习不再是一个需要额外拼接的模块，而是范式对称性的自然推论。

其二，递归自我改进（RSI）的结构性前提。RSI 的核心要求是系统能够测量自身的性能并据此改进自身。MetaPred 的持续自我测量机制——模型不断测量自身的动力学状态，以不动点形式产生内生的自监督信号——在结构上已经包含了一个「自我评估→自我校正」的闭环雏形。论文将其描述为 Lambek 不动点引理在机器学习中的实例化：有限步模拟与更深步模拟之间的差异，构成一个不需要外部标签的一致性信号。这距离完整的 RSI 还有很长的路，但它把「自我测量」从一个外部监控工具，变成了模型动力学本身的内生组成部分。在以 RSI 为长期方向的路线图中，这是一个比「在 GPT 外面套一个自我评估模块」更根本的起点。

其三，可扩展性的痛点，以及「AGI 不必是百科全书」。GPT 路线的可扩展性讨论，长期集中在参数规模、数据规模和计算规模的同步扩张上。MetaPred 的理论推导给出了一个不同的方向：由于模型载体与动力学状态之间是弱耦合的，动力学状态只需要与载体的一个子集对齐，而不是与整个架构严格同形。论文明确指出，这一约束的放松是 BriLLM 支持任意长输入输出而模型大小保持恒定的根本机制。换句话说，处理更长的上下文、更复杂的序列，不必以模型本身的无限膨胀为代价。这与「AGI 不必是百科全书、不必是无限大的模型」的判断直接呼应：如果智能的核心是一个能够持续自我测量、自我校正的动力学过程，那么知识的存储不必全部压缩进参数，能力的扩展也不必等价于参数量的线性甚至超线性增长。MetaPred 的理论甚至预测性能可以与模型规模解耦，而 BriLLM-MetaPred 在约 GPT-1 十分之一的规模上达到同规模 GPT 基线性能，正是这个方向上第一个可检验的工程锚点。

需要克制地指出：这些对齐目前是「结构性指向」，而不是「已完成的解决」。持续执行训练机制还不是开放世界中的终身学习；自我测量的不动点闭环还不是递归自我改进；恒定模型大小支持任意长度输入，也不等于可扩展性问题已经被消除。但它们共同指向一个与 GPT 范式不同的默认设定：智能的核心不是「在冻结参数中存储尽可能多的知识」，而是一个能够持续演化、自我测量、并在与环境的交互中维持内部一致性的动力学过程。在这个设定下，「更大的百科全书」不是 AGI 的必经之路——一个足够根本的动力学核心，可能比一个更大的静态知识库更接近通用认知的定义。

核心部件级的突破，而非 AGI 终局

理解 BriLLM-MetaPred 的关键，在于看清它做成了什么，以及它没有声称什么。

它做成的是：AGI 数学理论所推导出的核心学习原语中，最困难、最重要的部件之一——语言模型——已经被实例化，并被证明能够运转，且达到了与当代主流架构基础性能相当的水平。这是从数学定义到可执行系统之间，第一个被工程验证的锚点。

它没有声称的是：这个语言模型实例本身就是一个完整的 AGI 系统。论文的标题和摘要始终将其定位为语言模型的首个工程实现，而非通用认知的完整兑现。理论中关于能动性、具身闭环、终身学习等系统级要求，属于理论蓝图的后续部分，而非这一篇论文的工程贡献。

BriLLM-MetaPred 的价值，恰恰在于它拒绝绕过最困难的一步。一条 AGI 理论路线如果无法在语言建模这种规模与复杂度的开放域学习任务上落地，其可信度将始终悬置。BriLLM-MetaPred 用「与同规模 GPT 基线性能相当」这一克制但可检验的结果，为「从数学理论推导机器学习范式」这条路径，提供了第一个工程锚点。

BriLLM-MetaPred 是一个类脑模型，但与其他类脑模型不同：这里的「类脑」特性是理论和工程实现的自然且必然的结果，而非设计动机。

它不是一个更快的引擎，而是一台按照全新、自治的数学蓝图造出来的第一台发动机原型——并且，这台原型已经在测试台上转了起来。