马毅：主流网络架构能从"压缩"一个原理推导出来，大模型有知识但还没有智能

★ 本文内容整理自 马毅 在 UC Berkeley EECS 的演讲，公开发表于 2026年05月07日。 原文链接：https://www.youtube.com/watch?v=Az9sfy3jWNU

2019 年，马毅给自己的研究组下过一道禁令：不许再写"解释某个 trick 为什么好使"的论文。dropout 提升 5%、加一层 normalization、ReLU 比 sigmoid 好、双下降、残差连接——每隔三个月就有一个新现象冒出来，然后学界写上几百篇论文去追认它。他说自己也写过这类论文，但决定不再署名，理由很直接：这只是在追着实践者的尾巴跑（chasing the tails of practitioners）。

七年后，他在 UC Berkeley 的 EECS Colloquium 上讲的，就是这道禁令之后另起炉灶的成果。这场讲座由认识他三十多年的 Jitendra Malik 主持，主线只有两条，但都不小：一条是，深度学习十年来靠试错攒出来的主流网络结构——注意力、卷积、残差、Mixture-of-Experts——其实可以从一个数学假设演绎地推导出来，把黑箱变成白箱；另一条是，知识和智能是两回事，按这个标准，今天的大模型只有知识，还谈不上智能。

先问"要学什么"，而不是"网络怎么搭"

马毅的出发点是把研究对象换掉。过去十年，深度网络本身是被研究的对象，大家反复问"这个结构为什么有效"。他认为这问错了——网络只是手段，真正该先想清楚的是学习的目的：我们到底要从数据里学到什么。

他给的答案是一个假设：可预测的信息，本质上是高维空间里一个支撑集极低维的分布。一张图片是上百万个像素、也就是百万维空间里的一个点，但所有"看起来正常"的图片只集中在其中极小的一块低维结构上。牛顿定律说无外力的粒子只能走直线，就是把一个三维里的运动限制在一维上——正是这种低维性让世界变得可预测、可补全、可去噪。马毅主张，"数据分布是低维的"是深度学习唯一需要的归纳偏置，其他都能从这里往下推。

他专门拿这个和 Bengio 抬过的杠打了个照面：两人曾就"什么是 inductive bias"争论得不太愉快，Bengio 甩给他一篇五十页、通篇没有一个公式或定义的论文，让他一头雾水。马毅的态度是，归纳偏置应该能被数学定义、能拿来演绎，而不是"有效就说你用对了 bias、无效就说你没用对"的事后定性。

低维假设能直接兑现几件事：图像被遮挡可以补全，观测有噪声可以去噪——维纳（Norbert Wiener）最有名的工作维纳滤波做的就是这件事，只不过是在低维线性模型上。放到人脸上，有人估计人脸分布大约只有九维;哪怕随机裁掉 30% 到 70% 的像素，只要利用这个低维结构，机器不仅能认出是谁，还能把整张图恢复出来。

把"学到了多少"变成一个能算的量

光知道"分布是低维的"还不够，因为它没法比较好坏。数据落在一条直线上还是几个孤立点上，两者的体积都是零；连续分布的微分熵是负无穷，两个负无穷之间也没法排序。马毅借用了香农（Claude Shannon）的率失真（rate distortion）：先设定一个有限内存、给定精度的"码本"，测量编码这份数据需要多少比特，编码长度的减少量就是信息增益。这一步的意义在于把"学到了多少"变成一个真正可计算、可比较的量。

他用一个思想实验说明为什么必须带上"精度"这个约束：假设世界上只有 e 和 π 两个点，各占一半概率，编码它们只要 1 比特，可解码却需要无限内存,因此是不可计算的。所以任何对世界的解释都只能精确到某个程度，必须构造有限复杂度的有损码本。这也顺带回答了一个常见困惑——为什么样本足够多时，模型会收敛到那条直线，而不是把每个样本点都背下来：覆盖整个空间要一大堆"蓝球"当码本，而只标记数据附近的"绿球"码本要紧凑得多，后者的信息增益更大。样本太少或网络容量太大时，模型确实会退化成逐点记忆。

需要说明的是，一般分布的率失真计算是 NP-hard、不可计算的。马毅的推导建立在一个近似上：把复杂低维分布用若干子空间或分段高斯去逼近。对高斯，率失真有现成的解析公式，整套东西才算得动。这个近似能推广到多真实的数据分布，讲座里没有给出严格边界。

注意力、卷积、残差，都能从这个目标函数里长出来

把"学一个好表示"写成"最大化码本层面的信息增益，同时让表示尽量线性化、正交、稀疏"，就得到一个目标函数。对它做梯度下降，推出来的算子结构，和今天试错攒出来的主流网络高度一致。

压缩项算出来就是注意力头的样子——一个二次转线性的算子加软阈值;而且比标准注意力更省，K、V、U 可以共享同一个线性投影，不需要三个独立的参数矩阵。稀疏化项对应经典的 ISTA 软阈值。把这些迭代堆叠起来，就是一个残差网络式的深层结构，只不过每一层都在对同一个目标函数做优化，因此完全可解释。这套架构马毅团队早年叫它 ReduNet。

其中一个让他自己都意外的结果是卷积：只要要求这个目标函数对平移不变——同一个物体挪个位置还是同一个物体，把所有平移后的图像当成一个集合一起压缩——梯度算子会自动变成卷积，不需要人为设定。他说这是他第一次从第一性原理把卷积推导出来。附带的一个发现是，这类由平移不变性导出的卷积算子在频域计算，复杂度能从二次降到线性。

有了这个视角，架构设计就变成了做题。训练出来的 ViT 里，每个注意力头会按几何结构自动把腿、身体、耳朵这些相似部分分到一起——每一层学到的都是统计和几何上有意义的结构。团队用同一原则重写了 DINO 的 v1、v2 和掩码自编码，网络大幅简化、超参数基本消失，性能反而更好;想要线性复杂度的注意力，也是换一个变分形式的目标函数推出来的，而不是像 Mamba、Samba 那样试出来的。马毅说，从 2023 年起他的组不再做任何经验性设计。

他也借此点了一句行业现状：当你花了上百亿训练，最后告诉投资人"学到的东西在隐空间里、你不知道是什么"，这就是为什么满世界都是 prompt 工程师、都在写各种 skill——都是在给一个看不透的隐空间打补丁。

知识不是智能，闭环才是分界

讲座后半段，马毅把"知识"和"智能"分开。他给智能下的定义是：一个具备自我纠正、自我提升现有知识机制的系统。知识是智能的产物，两者常被混为一谈，就像把 Apple 和 iPhone 搞混。顺着这个定义，他给出一个会让不少人不适的判断——GPT 只有静态知识，没有智能;而小孩有智能，只是还没有知识。

分界点在闭环。自然界没有实验室那种"拿真值来比对"的条件，没有 3D ground truth 可用，只能在潜空间内部做闭环校验——这正是维纳约八十年前提出、如今被"端到端"范式忘掉的思路。马毅和杨立昆（Yann LeCun）及其学生的工作显示，把率失真当作奖励、玩一个 min-max 博弈去探索并检验预测对错，可以完全无监督地学出与猴子 IT 皮层类似的、块对角的分类结构;这项工作是疫情期间和神经科学家曹颖（Doris Tsao）合作做的。他还提到，辛顿（Geoffrey Hinton）在 2022 年承认，大脑并不做反向传播，它只能闭环学习。

现场有人追问：既然人打篮球不需要懂牛顿定律，为什么不能只靠强化学习黑箱试错，非要把黑箱打开？马毅的回答是，黑箱当然也能试出结构，但那是买彩票——ViT 试出来的表示可视化之后是一团乱麻，你不知道学到了什么，只能靠 ControlNet 这类事后条件化去补救;而白箱结构在统计几何上是透明的。长期看，自然选择会淘汰那些能耗高、结构冗余的方案，所以结构化表示是被"选"出来的优势。他补了一句对照：人脑只用 18 瓦，而现在训练大模型的人已经在谈多个吉瓦。

需要区分的是，这里马毅论证"白箱更可取"更多依赖"自然选择会淘汰低效结构"这类类比，而不是严格证明了白箱的必要性;他自己也承认这套框架未必最优——即便收敛到局部极大值，也仍能对应有效的分段线性结构，只是可能有子空间缺失或合并。

学术界该当那个"去噪器"

马毅把这套演绎路线放进了一条更长的脉络里。他反复强调，人工智能真正的起点是 1940 年代而不是常被引用的 1956 年，源头是维纳——是他启发了皮茨的人工神经元、香农的信息论，以及冯·诺依曼的计算机架构。图灵 1950 年那篇论文也从没真正回答"机器能否思考"，它的核心是尝试定义这个问题。马毅把它翻译成一个更可操作的版本：能不能检验一个系统是在归纳地还是演绎地做事，能不能自我学习，能不能区分"幻觉"和"假设"——幻觉是你不知道自己可能错、只当它对，假设是你知道自己可能错、所以要去验证。

他给学术界和产业界划了分工：产业界负责把已知的东西做得更大更快、把 benchmark 刷得更高;学术界的角色应该是"去噪器"，负责找对方向、提对问题。他对当下"发现一个东西就往死里工程化"的做法不客气——那能产出很多有影响力的论文，diffusion 模型的补丁和 prompt 工程的技巧各有上万篇，但在他看来"熵太高了"。

讲座留了不少没展开的口子。马毅自己承认没时间讲这套原则怎么落到真实问题上，提问环节里他快速带过了一项工作：把生成和重建统一到同一个优化框架里做视觉记忆，从几张图就能重建并理解场景，区分以自我为中心、以物体为中心和以环境为中心的表示——这是他三十年前跟着 Malik 学 3D 重建时就想做的事。"幻觉与假设""意识"这些话题也只是提纲式地点到。这套从压缩出发的框架能走多远，得看这些口子后面能填出什么。

术语注解

正文里几个专有名词，展开说明如下，方便非专业读者对照。多数出自马毅团队公开的一条研究线（MCR² → ReduNet → CRATE → SimDINO / ToST），链接见文末。

率失真理论（rate distortion）：香农信息论的一个分支，研究"在允许一定失真（误差）的前提下，把一个信源压缩到最少需要多少比特"，是有损压缩的理论下界。马毅用它把"学到了多少"变成可计算量——编码数据所需比特数（编码率）的下降幅度，就是信息增益。一般分布下这个量的精确计算是 NP-hard，所以他退而用高斯/分段高斯去近似，才有解析公式可算。

最大编码率约减（MCR²，Maximal Coding Rate Reduction）：马毅团队 2020 年提出的目标函数。直觉是让学到的特征同时满足两点——不同类的特征落在彼此正交的低维子空间里（判别性最大化），同类特征挤进同一个低维子空间里（可压缩性最大化）。最大化"整体编码率 − 各类编码率之和"这个差值，就同时做到这两件事。它是后面 ReduNet、CRATE 的共同源头。

ReduNet：2021 年的工作（Chan、Yu、You、Qi、Wright、Ma）。把 MCR² 目标函数的梯度一步步"展开"（unroll），每一步梯度上升对应网络的一层，于是一个前向、可解释的深度网络被"推导"出来而不是设计出来。给它加上平移不变约束时，其中的算子自动变成卷积——这正是正文"卷积从第一性原理推出来"的出处。

CRATE（Coding RAte reduction TransformEr）/ 白箱 Transformer：2023 年 NeurIPS 论文《White-Box Transformers via Sparse Rate Reduction》。目标换成"稀疏率约减"，每一层做一步交替最小化：先用多头子空间自注意力（MSSA）做压缩、去噪，再用 ISTA 做稀疏化。整个 Transformer 由此被推导成完全可解释的结构，注意力头自带语义。正文"注意力、残差、MoE 都能从目标函数里长出来"说的就是这条线。

K、V、U 共享同一线性投影：标准注意力里 Query、Key、Value 各用一个独立的投影矩阵。CRATE 的推导表明，从压缩/去噪的目标出发，这几个投影在数学上应当相同，只需一个投影矩阵——辛顿早年也提过"Q、K、V 设成相等更合理"的猜想，这里从原理上印证了它。正文"K、V、U 共享投影、比标准注意力更省"即指此。

ISTA 软阈值（Iterative Shrinkage-Thresholding Algorithm，迭代收缩阈值算法）：求解稀疏优化（LASSO / 稀疏编码）的经典一阶算法。每次迭代两步：先沿梯度下降，再过一个"软阈值"函数——把绝对值小于阈值 λ 的分量直接压成 0、其余向 0 收缩 λ。作用是逼出稀疏解（只让少数分量非零）。CRATE 用它实现"某个神经元只在该激活时才激活"的稀疏表示。

维纳滤波 / 卡尔曼滤波：两种经典去噪、估计方法。维纳滤波（维纳提出）在低维线性模型假设下，从含噪观测里恢复原信号;卡尔曼滤波是它在动态系统里的递推版本。马毅用它们说明"低维结构⇒可去噪"这件事信号处理界早就在做，只是过去局限在低维。

score function / 去噪扩散：把干净数据不断加噪会让分布越来越弥散（熵增），这就是扩散过程;反过来，沿着"分数函数"（对数概率密度的梯度）一步步把噪声往数据高概率区域推，就是去噪、熵减的逆过程，也是 Sora 等生成模型的原理。马毅把学习整体看作这个去噪/压缩过程在高维空间的版本。

SimDINO（简化版 DINO）：2025 年 Berkeley 团队工作。DINO/DINOv2 是自监督视觉预训练方法，训练管线复杂、超参多、易坍缩。SimDINO 证明只要在损失里加一个显式的编码率（coding rate）项来防止表示坍缩，就能删掉大量经验性设计，网络更简单、性能反而更好。正文"两个 Berkeley 学生做的简化版 DINO"即此。

Token Statistics Transformer（ToST，线性复杂度注意力）：ICLR 2025 工作。标准注意力复杂度随 token 数二次增长;把率约减目标改写成变分形式后，可以推导出一个复杂度随 token 数线性增长的注意力算子。这是正文"换一个变分形式的目标函数、推出线性复杂度注意力"的出处，作为对 Mamba/Samba 等试错式线性注意力的原理化替代。

块对角结构（block-diagonal）/ IT 皮层：把学到的相似度矩阵按类别排序后呈现的对角分块形态，意味着同类聚在一起、异类分开。灵长类下颞叶皮层（IT cortex）对物体类别的表征也呈类似结构。马毅与神经科学家曹颖（Doris Tsao）的合作用它作为"闭环预测编码能无监督学出类脑结构"的证据。

系统发生智能 / 个体发生智能（phylogenetic / ontogenetic）：马毅借生物学术语区分两种智能。前者是物种层面靠自然选择"进化"出的能力，个体只继承、按本能反应（他类比今天的大模型）;后者是个体一生中通过感知、反馈、纠错自己习得的能力（对应"具身智能"）。这是"知识 vs 智能"论点的生物学铺垫。

• MCR²：《Learning Diverse and Discriminative Representations via the Principle of Maximal Coding Rate Reduction》(2020) — https://github.com/Ma-Lab-Berkeley/MCR2

• ReduNet：《ReduNet: A White-box Deep Network from the Principle of Maximizing Rate Reduction》(2021) — https://arxiv.org/abs/2105.10446

• CRATE：《White-Box Transformers via Sparse Rate Reduction》(NeurIPS 2023) — https://ma-lab-berkeley.github.io/CRATE/ ; https://arxiv.org/abs/2311.13110

• SimDINO：《Simplifying DINO via Coding Rate Regularization》(ICML 2025) — https://arxiv.org/abs/2502.10385

• ToST：《Token Statistics Transformer: Linear-Time Attention via Variational Rate Reduction》(ICLR 2025) — https://arxiv.org/abs/2412.17810