强化学习之父Rich Sutton最新判断：大模型被困在“局部最优”，AI必须学会持续学习

说起强化学习之父 Rich Sutton，AI圈几乎没人陌生。

他写下的《苦涩的教训》，至今仍被很多人视为理解AI发展的重要框架：从长期看，能够随着计算规模扩展的通用方法，往往会战胜依赖大量人工知识设计的方案。

但最近接受红杉资本访谈时，Sutton却把矛头对准了今天最主流的大模型路线。在他看来，LLM当然是一次伟大的科学突破，却也可能成为《苦涩的教训》的反面案例。

原因很简单。今天的大模型虽然摆脱了大量人工规则，却重新被“人类已经知道的东西”限制住了。互联网数据终究有限，合成数据背后依然需要人来决定什么值得生成。

而更关键的是，模型仍然不具备人类那样的持续学习能力。

一个司机开了10年车，会从经验里形成大量直觉。但今天的大模型，大部分学习都集中在预训练和后训练阶段。模型上线后，即使每天和几百万人交互，核心权重依然基本被冻结。

在Sutton看来，今天的大模型行业可能已经陷入“局部最优”：继续堆GPU、做Scaling，性能还能上涨，所以头部实验室越来越难转向一条短期表现可能更差的新路线。

这也是Sutton和学生 Khurram Javed 创办 Oak Lab 的出发点。

Oak想重新做一种能够从自身经验中持续学习的AI Agent：模型上线以后还能继续更新对世界的理解，从经验中提炼新的概念和规律，并根据环境变化不断调整自己。

如果持续学习这条路线最终走通，被重写的可能不只是一代模型，而是今天“训练—冻结—上线”的整套基础模型范式。

不能持续学习，是大模型最大的问题

Sutton对大模型的态度其实很有意思。

他并不否认LLM的成功。

甚至相反，他认为大型语言模型是一个“惊人的科学突破”。

过去语言长期被认为是符号主义AI最后的堡垒之一。结果神经网络靠规模化训练，硬生生学会了极其复杂的语言能力。

这恰恰符合Sutton那篇著名的《苦涩的教训》。这篇文章最核心的观点，可以简单理解成一句话：

少往机器里手工塞人类规则，多寻找能够随着计算规模一起扩展的学习方法。

过去几十年的AI历史已经反复证明，人类精心设计的规则，短期看经常很好用，长期却往往输给更通用、能够吃下更多计算的方法。

AlphaGo是这样、深度学习是这样，大语言模型同样如此。

LLM把整个互联网“喝”进去，再不断增加计算量，能力随之快速上升。所以Sutton认为，大语言模型是《苦涩的教训》最成功的案例之一。

但有意思的地方也在这里。大模型同时可能成为《苦涩的教训》的反面案例。

因为今天的大模型虽然摆脱了大量人工规则，却重新被另一种“人类知识”限制住了：

互联网。

互联网再大，终究只是人类已经记录下来的知识，论文、代码、书籍、网页、视频、聊天记录……

模型可以把这些东西一遍遍训练，但现实世界本身远比互联网复杂。Sutton的判断非常直接：真实世界包含的信息量，远远超过人类至今存储在互联网上的一切。

这意味着，只靠训练前把数据准备得越来越充分，总有一天会撞墙。

更关键的问题还在后面。今天的大模型学习和工作，其实被人为切成了两个阶段。

训练的时候，疯狂学习，真正上线开始工作以后，权重基本冻结。

它可以通过Context临时获得新信息，也可以通过Memory记住你的一些偏好，但Sutton认为，这和真正的学习还差得很远。

因为真正的学习意味着：经历一件事情之后，系统本身发生变化。

比如一个医生做了1000台手术之后，他脑子里的判断方式已经发生变化。一个司机开了10年车之后，他甚至不需要刻意思考，就知道旁边那辆车可能要加塞。

经验真正沉淀进了人。而现在的大模型更多像一个刚毕业时就被冻结的大脑。以后工作多少年，都主要靠翻自己的毕业笔记。

这也是Sutton对当前LLM最核心的质疑：

为什么模型形成新概念、修改内部结构的能力，只能发生在训练阶段？

既然训练时改变权重能够产生智能，模型上线以后为什么不能继续干这件事？

/ 02 /

合成数据，可能救不了Scaling

互联网高质量数据有限怎么办？一个最热门的答案，就是合成数据。

理论上，只要算力足够，数据似乎就可以无限生成。但Sutton直接给出了一个很不客气的评价：

这是一个“大错误”。

甚至可能成为下一条“苦涩的教训”。原因在于，合成数据看起来摆脱了真实数据的限制，背后依然藏着一个人类瓶颈。

谁决定什么数据值得生成？谁判断什么问题重要？谁定义奖励？最后绕一圈，还是人。

只要合成数据仍然需要人类决定什么值得生成，这条路线的扩展速度就依然受到人类知识的限制。

Sutton背后的理论叫做：Big World Hypothesis，大世界假说。

这个观点理解起来其实非常简单。现实世界太大了，大到任何一个智能体都不可能提前掌握一切。一架无人机真正飞起来，会遇到风、摩擦、马达误差、障碍物，以及无数模拟器里没有出现过的细节。

这些东西不可能在模型上线前全部写进训练集。所以Sutton认为，一个智能体面对的世界，永远比智能体自身复杂。既然不可能提前学完，唯一可行的方法就是边走边学。

这其实把今天AI行业的一个核心假设翻了过来。过去几年，大家一直试图在模型上线之前，把它训练得越来越接近“全知”。

Sutton想做的AI没有那么执着于“出生时就什么都会”。它真正需要的是，出生之后还能继续进化。

/ 03 /

真正难的是：学了新的，别把旧的忘了

既然持续学习这么符合直觉，为什么OpenAI、Anthropic这些公司不直接让模型每天更新权重？

因为真这么干，模型很快就可能被学废。这也是Continual Learning研究了很多年，仍然没有彻底解决的问题：灾难性遗忘（Catastrophic Forgetting）。

假设今天你告诉模型：“我们公司的内部项目X，以后统一叫Apollo。”

模型马上根据这一条数据更新权重。看起来很好。但神经网络里的知识并不是一行行独立存在的。一个权重变化，可能同时影响很多过去已经学好的能力。

结果很可能是，Apollo记住了，但其他东西被搞坏了。

这也是为什么今天很多模型更愿意把新信息塞进Context、RAG或者Memory，而不轻易修改底层权重。

Cursor这类产品已经做了一些持续更新，但方式仍然更接近：

先收集成千上万甚至数百万用户的数据，攒成一个巨大的Batch，再统一训练一次。这对于公共模型有用。到了真正的个人智能体，这套方法就开始别扭。

如果我只想教自己的AI助手一个新习惯，为什么要等十万个人的数据一起训练？更麻烦的是，我希望它学到的东西，可能和另外十万个人根本没关系。

所以Oak真正想啃的，是一个非常底层的算法问题：

让一个模型可以用连续进入的单条经验更新自己，同时不破坏过去的知识。

Sutton给出的一个方向叫做Step-size Optimization。

简单理解，就是不同知识的“可塑性”不应该一样。模型里有些东西已经被验证了无数遍，应该非常稳定。有些东西刚刚学到，应该更容易修改。

所以每一个权重都可以拥有不同的学习速度。这其实很像人的大脑。一个成年人不会因为今天看到一只绿色的猫，就把过去几十年对“猫”的认知全部推翻。

但如果连续几年发现某个过去一直成立的规律已经变化，大脑又能够慢慢调整。

更有意思的是Sutton提出的另一个方法：Continual Backprop。

传统神经网络在初始化的时候，会随机生成大量神经元权重，然后开始训练。一开始存在很多随机性和多样性。随着训练越来越久，这些随机空间逐渐被利用完，模型的内部结构也越来越固化。

Sutton想做的是，怎么让一个训练了10年、20年的神经网络，依然像一个年轻大脑一样拥有可塑性。这也是Oak所要探索的。

他们认为，未来训练基础模型的时候，就应该把这种能力直接训练进去。

模型从第一天开始，同时学习两件事情：一件是知识。另一件是以后应该怎么学习知识，也就是Meta-learning。

真正的持续学习模型，可能需要从底层重新训练。

/ 04 /

Oak赌的，是大模型之后的下一种AI

如果Oak只是解决“模型记忆”，这家公司其实没有那么值得关注。真正野心大的地方，是Sutton想把持续学习和另一个能力连起来：自主形成抽象。

今天AI已经很会做数学，也很会下棋。但Sutton指出，这里面有一个经常被忽视的问题：

这些任务的“世界规则”，人类已经提前告诉AI了。

但现实世界不是围棋。

在开放环境里，智能体首先得知道什么值得预测，哪些变量应该被当作一个整体，哪些规律只在局部场景中成立。顶尖运动员会为极其细微的动作建立自己的概念体系；人类科学家则会在既有知识边界上提出新的抽象，再用它们解释和规划未知现象。

Sutton 认为，当前 AI 最缺失的能力之一，就是“先学到一个世界模型，再用这个模型进行规划”。

Oak Lab 的终极目标，是打造一个从微小感知到宏大计划、都能用统一方式组织知识的AI系统。它要能够持续训练，却不失控，能够修正自己，却不滑向混乱，能够吸收新经验，又让长期知识保持连贯。

换句话说，他们想要的不是一个更会回答问题的模型，而是一个能长期保持自洽、并不断变得更好的心智。

这条路显然不轻松。它要求算法跨过灾难性遗忘、抽象形成、世界建模和规划等一系列尚未解决的问题，也意味着研究团队需要容忍一段时间内性能不如现有产品的可能性。

对已经被规模化收入和既有路线绑定的大公司来说，这种“先退一步、再换范式”的选择并不容易。

但这也许正是 Sutton 想提醒行业的地方。

大语言模型并没有失败。它们已经证明了规模化学习的巨大力量，也会继续成为重要技术基础。但把语言能力等同于完整智能，把训练结束等同于学习完成，可能会让行业错过下一阶段真正关键的东西。

在 Sutton 的设想里，未来不是一个全知全能的单一模型统治所有任务。相反，会有许多拥有同一套基本设计、但因经历不同而各自成长的“心智”。它们在不同环境中学习不同知识，彼此无法穷尽地替代。

这也许才更接近真实世界：世界足够大，任何系统都不可能一次学完；智能不是把所有答案预先装进参数里，而是遇到新问题后，仍能继续长出新的理解。

而 Oak Lab 要下注的，正是这件事。

文/阿奇