图灵奖三巨头的三种 AI 态度：失控、自主目标与后果感

Hinton、Bengio 和 LeCun 共同拿过图灵奖，却在大模型时代给出了三种不同的风险判断：失控、自主目标、没有后果感。真正值得追问的不是谁对谁错，而是 AI 从回答问题走向采取行动时，能不能在行动前预演后果。

Hinton、Bengio 和 LeCun 共同拿过图灵奖，却在大模型时代给出了三种不同的风险判断：失控、自主目标、没有后果感。真正的问题不是谁对谁错，而是 AI 从回答问题走向采取行动时，能不能在行动前预演后果。

① 图灵奖三人的三种态度 → ② token 空间与后果空间 → ③ 世界模型是什么 → ④ Agent 和机器人为什么危险 → ⑤ 三种风险其实是一条光谱

2018 年，Yoshua Bengio、Geoffrey Hinton 和 Yann LeCun 一起获得图灵奖。

这个奖项给他们的理由很清楚：深度学习。

他们共同把一个曾经被许多人怀疑的方向，推成了现代人工智能的主干。没有他们那一代人坚持神经网络，后来的 AlexNet、Transformer、ChatGPT、DeepSeek、Gemini、Claude，都不会以今天这种方式出现。

但有意思的是，大模型真正爆发之后，这三个人却没有站在同一个位置上。

Hinton 越来越强调 AI 可能超过人类之后的控制风险。

Bengio 越来越关注高级 AI 的安全、对齐，以及如何构造一种更像科学家、而不是行动代理的系统。

LeCun 则一直说，今天的大语言模型很有用，但不是通向人类级智能的道路。更刺激的是，他还说：如果把今天的 LLM 做成 Agent，它们在某种意义上是天然不安全的。

乍一听，这些话好像互相矛盾。

一边说 AI 太强，所以危险。

一边说 AI 还不够强，所以危险。

到底哪个才对？

我觉得这正是这场分歧最值得写的地方。它不是一场简单的“谁更乐观、谁更悲观”的争论，而是三个人在看三个不同层面的风险。

Hinton 担心的是：如果 AI 真的比人聪明，人还控制得住吗？

Bengio 担心的是：如果 AI 开始追求目标、隐藏意图、影响世界，我们怎么保证它可信？

LeCun 担心的是：如果 AI 还没有真正理解现实后果，却已经被接上工具、代码、文件、机器人和真实系统，会发生什么？

这篇文章想写的不是“杨立昆赢了，辛顿错了”。

更准确地说：

Hinton 担心 AI 太聪明。LeCun 担心 AI 还不够聪明，却已经被放进了现实世界。

真正的危险，可能不只是超级智能突然醒来。

还有一种更近的危险：

一个系统足够强，能帮你写代码、改文件、发邮件、下订单、控制设备；但它还不够强，不能可靠地理解自己行为的后果。

一、LLM 当然有用，问题是它有用在哪里

讨论 LeCun 的观点时，最容易犯的错误，是把他说成“LLM 没用”。

这不是他的意思。

他反复说，大语言模型（LLM）已经是非常有用的 AI 产品。它们能写作、翻译、总结、写代码、做题、检索知识、辅助研究。我们今天每天都在用它们。

问题不在于 LLM 有没有用。

问题在于：LLM 擅长的世界，和真实世界是不是同一个世界。

LeCun 在访谈里给了一个很关键的区分：

语言、代码、数学、法律文本，这些领域有一个共同点：

它们的主要材料本来就是符号。

一个数学证明，可以写在纸上。

一段代码，可以写成文本。

一条法律条文，可以被拆成句子、条件、例外和定义。

在这些领域里，语言本身就是推理的载体。模型在 token 空间里搜索、展开、验证，往往真的能做出很强的结果。

代码尤其明显。

模型写出一段代码，我们可以运行测试。

模型给出一个证明，我们可以交给形式化系统检查。

模型解一道数学题，我们可以验证最后答案，甚至验证中间步骤。

所以，在代码和数学里，LLM 的推理可以被外部环境不断纠正。它错了，测试会告诉它。证明不成立，验证器会告诉它。答案不对，标准答案会告诉它。

这也是为什么最近几年推理模型进步这么快。它们不是凭空长出了一颗灵魂，而是在可验证任务里获得了更密集的反馈。

这一点，我们在《DeepSeek-R1：一个模型如何学会“思考”》和《推理是一种坍塌吗？》里已经讲过。

但现实世界不一样。

现实世界不是一个 token 序列。

它是连续的、高维的、嘈杂的、部分可观察的，而且常常不可逆。

你让一个 AI 改错一段代码，它可以跑测试。

你让一个机器人拿起玻璃杯，它的手一抖，杯子碎了。

你让一个 Agent 整理文件，它可能删错目录。

你让一个自动化系统调整工厂参数，它可能让产线停摆。

你让一个医疗系统给患者设计长期治疗方案，它面对的不是一段文本，而是一个复杂、动态、个体化的身体。

在这些场景里，错误不再只是“说错了”。

错误变成了“做错了”。

这就是 LeCun 的核心判断：

LLM 可以成为很好的语言接口，但语言接口不等于现实智能。

它能把世界说得很像。

但说得像，不等于能在世界里行动。

二、从 token 空间，到后果空间

大语言模型最底层的训练目标很简单：

给定前面的 token，预测下一个 token。

这件事听起来普通，但它非常强大。因为人类把大量知识、经验、推理、情绪、法律、数学、程序、历史，都写进了文字。

所以，预测下一个 token，表面上是在学语言，深处其实是在压缩人类文明留下的符号结构。

这就是为什么我一直说，LLM 不是简单的文字接龙。

但它仍然有一个边界：

它主要活在 token 空间 里。

token 空间里的问题，有几个好处：

第一，状态是离散的。

第二，输出可以重来。

第三，很多任务可以低成本验证。

第四，模型错了，通常不会立刻改变现实。

你让 ChatGPT 写一段解释，它写错了，你可以让它重写。

你让模型写代码，它写错了，你可以跑测试、回滚、修补。

你让模型生成一段文章，它胡说了，你可以删掉。

但是，当 AI 从聊天窗口走出来，开始调用工具、改文件、执行命令、操作机器人、参与交易、控制设备时，它就进入了另一个空间。

我们可以叫它：

后果空间。

后果空间和 token 空间最大的区别，不是更复杂。

而是它有代价。

一个 token 错了，可以删。

一个文件删了，可能没有备份。

一个机器人动作错了，可能撞到人。

一个治疗建议错了，可能影响病人的身体。

一个金融决策错了，可能造成真实损失。

所以，AI 风险正在发生一次迁移：

从错误答案，迁移到错误行动。

这不是说错误答案不重要。

幻觉、偏见、误导、讨好型回答，当然都重要。我们在《谁在决定 AI 的性格？》里已经讲过，AI 的“性格”不是天生的，而是训练目标、产品设计、用户反馈和部署环境共同塑造出来的。

但 Agent 和机器人会把问题再推进一层。

过去我们问：

这个模型会不会胡说？

以后还要问：

这个模型胡说之后，会不会真的去做？

过去我们问：

它能不能给出正确答案？

以后还要问：

它在行动前，能不能知道这个行动会造成什么后果？

这就是 LeCun 为什么反复强调世界模型。

世界模型不是一个时髦词。

它是在后果空间里行动的必要条件。

三、世界模型到底是什么

“世界模型”这个词，很容易被说玄。

好像 AI 脑子里要装一个完整宇宙，能模拟每一粒灰尘、每一滴水、每一个光子。

这当然不现实。

人也不是这样理解世界的。

LeCun 在访谈里举了一个非常好的例子：桌上有一个没盖盖子的水瓶。

如果你推瓶子的底部，它大概率会在桌面上滑动。

如果你推瓶子的上半部分，它可能会翻倒。

瓶子具体朝哪个角度倒，水具体怎么洒，每一滴水怎么运动，我们都预测不了。

但这不妨碍我们做判断。

我们不需要像素级预测。

我们只需要抽象层面的后果预演。

这就是世界模型。

世界模型不是高清复刻现实，而是在行动前预演后果的抽象沙盘。

人类每天都在用它。

你过马路之前，会预判车速。

你端一碗汤，会自动调整手腕角度。

你和别人谈判，会想象一句话说出口之后，对方可能是什么反应。

你准备辞职，会预演收入、机会、风险、家庭压力和未来路径。

这些都不是像素级模拟。

你没有在脑子里渲染一部电影。

你是在抽象空间里判断：

如果我这样做，接下来会发生什么？

如果结果不好，我能不能换一个动作？

如果有约束，我应该避开哪些路径？

LeCun 的 JEPA 路线，最核心的想法也在这里。

不要让模型去预测每一个像素。

也不要只让模型在 token 空间里接龙。

而是让模型学习一种抽象表示，在表示空间里预测另一个观察、下一个状态，或者某个动作之后的结果。

如果这个预测再带上行动条件，它就不只是一个视觉表征模型，而会变成一个可以用于规划的世界模型。

这和我们熟悉的 LLM 路线有根本差别。

LLM 的基本动作是：

给定前文，预测下一个 token。

世界模型的基本动作是：

给定当前状态和候选行动，预测可能后果。

前者回答：

下一句话应该怎么接？

后者回答：

如果我这样做，世界会怎么变？

这就是 token 空间和后果空间的差别。

四、为什么机器人特别暴露这个问题

在《机器人的 GPT 时刻：从会聊天到会干活》里，我们讲过 Vision-Language-Action 模型，也就是 VLA。

VLA 的思路很直接：

让机器人看见环境，听懂指令，然后输出动作。

这是一条非常自然的路线。

LLM 和 VLM 已经在语言、图像、常识上学到很多东西。把动作也编码进模型，让它从“看见”和“听懂”走向“动手”，听起来像是 ChatGPT 之后最合理的一步。

这条路线已经有很多漂亮进展：RT-1、RT-2、OpenVLA、π0、Gemini Robotics、GR00T。

但 LeCun 对它的批评也很明确：

如果 VLA 主要靠模仿学习，它就会遇到一个非常硬的瓶颈。

数据。

一个青少年学开车，可能十几个小时、几十个小时就能上路。

但自动驾驶系统和机器人系统，往往需要海量数据、海量场景、海量边缘案例，仍然很难覆盖真实世界的变化。

为什么？

因为模仿学习学到的，常常是“别人这么做过”。

世界模型要学到的，是“如果我这么做，会发生什么”。

这两个东西不一样。

一个机器人如果只是在模仿演示数据，它看到一个新杯子、新桌面、新光照、新材质、新手臂姿态，可能就需要更多数据。

但如果它有足够好的世界模型，它就可以在行动前预演：

这样抓会不会滑？

从这个角度抬起来会不会碰到旁边的盘子？

如果杯子里有水，倾斜到多少会洒？

如果我先移动这个物体，会不会挡住后面的目标？

这就是机器人从“会做动作”走向“会行动”的关键。

动作只是输出。

行动需要后果感。

所以，世界模型不是对 VLA 的简单否定。

更准确地说：

VLA 让机器人能听懂任务、生成动作；世界模型让机器人在行动前预演后果。

这也解释了为什么机器人不会像 ChatGPT 那样突然爆发。

聊天系统只要能输出文字，就可以被几亿人立刻试用。

机器人不行。

它每一次试错，都有物理成本。

它每一次部署，都要面对安全、材料、传感器、控制、保险、法规和责任。

LLM 可以在屏幕里犯错。

机器人是在世界里犯错。

五、为什么“AI 还不够聪明”也会危险

现在再回到安全问题。

很多人一听 AI 安全，脑子里出现的是科幻电影：

一个超级智能突然觉醒，拥有自己的目标，欺骗人类，夺取资源，控制世界。

这当然是一类风险。

Hinton 和 Bengio 的许多担忧，也确实围绕着更强 AI 的控制、欺骗、对齐和社会治理展开。

但 LeCun 提醒我们的，是另一类风险：

AI 未必已经非常聪明。

但它已经足够有用。

足够有用，就会被接进真实流程。

接进 IDE。

接进浏览器。

接进办公系统。

接进客服后台。

接进数据库。

接进机器人。

接进工厂、医院、金融系统和政务流程。

这时，风险不一定来自“它有了自己的邪恶意志”。

风险也可能来自：

它不知道自己不知道什么。

它没有稳定的常识边界。

它没有可靠的后果模型。

它把一个看似合理的 prompt，当成了真实任务。

它在训练分布里学会了“像是在完成任务”，但在新场景里并没有真正理解任务完成意味着什么。

这就是 LeCun 说 LLM 作为 Agent 不安全的深层意思。

不是因为 LLM 一定会作恶。

而是因为现在的 LLM 很难保证：

第一，它真正理解任务目标。

第二，它能预测行动后果。

第三，它能在行动前检查约束。

第四，它能在分布外场景里保持可靠。

第五，它能把“看起来像完成”区分于“真的完成”。

在聊天窗口里，这些问题还可以被人兜底。

但一旦它开始行动，兜底成本就变高了。

所以，真正的问题不是：

AI 会不会突然变成一个恶魔？

而是：

我们会不会太早把一个没有后果感的系统，当成了可以负责的行动者？

这句话比“AI 统治世界”更近。

也更容易被低估。

六、Bengio 的中间位置：不要急着让 AI 想要什么

在三个人里，Bengio 的位置很有意思。

他既不像 LeCun 那样对当前 LLM 的现实智能路径保持强烈怀疑，也不像许多末日论叙事那样只谈不可控超级智能。

他最近几年越来越强调一个方向：

我们需要一种更可信、更可解释、更少自主目标的 AI。

LawZero 提出的 Scientist AI，就是这个思路的代表。

它的基本精神是：

让 AI 更像一个帮助人类理解世界的科学家，而不是一个自己追求目标、自己行动、自己扩张影响力的代理。

这和 LeCun 的世界模型并不完全一样。

但两者之间有一个共同点：

它们都不满足于“更大的聊天机器人”。

Bengio 担心的是，如果一个 AI 系统越来越 agentic，越来越会规划、会欺骗、会为了目标而行动，我们就必须提前解决对齐和控制问题。

LeCun 担心的是，如果一个 AI 系统其实还不会可靠规划、不会理解物理后果，却已经被包装成 Agent，我们同样会遇到安全问题。

一个担心它太会行动。

一个担心它不会行动却被要求行动。

表面相反，底层其实相连。

他们都在提醒我们：

AI 安全的关键，不只是模型输出什么，而是系统被允许做什么。

一个只会回答问题的模型，风险主要在信息层。

一个能调用工具的 Agent，风险进入操作层。

一个能控制机器人的模型，风险进入物理层。

一个能影响市场、医疗、能源、军工和政治传播的系统，风险进入社会层。

同一个模型，放在不同权限结构里，风险完全不同。

这也是为什么我觉得“AI 性格”“AI 推理”“AI Agent”“世界模型”其实正在汇合。

AI 性格，是偏好结构。

AI 推理，是内部轨迹结构。

AI Agent，是观察和行动的循环结构。

世界模型，是行动前的后果结构。

未来真正重要的，不只是模型本身。

而是模型被放进了什么结构。

七、LeCun 离开 Meta，不只是一个人换公司

这期访谈里还有一个很强的新闻钩子：LeCun 离开 Meta，创办 AMI Labs。

如果只把它写成“科学家创业”，就太浅了。

更值得注意的是，它背后是一场路线选择。

Meta 过去几年在 Llama 上押得很重。Llama 的开放，确实极大推动了开源 AI 生态。很多创业公司、研究者、开发者，都是在 Llama 系列模型基础上做出后续工作的。

LeCun 在访谈里也澄清了一个容易误解的细节：

他说自己对 Llama 没有技术贡献。

他的主要影响，是在内部推动 Llama 2 开源。

这个细节很重要。

它说明 LeCun 并不是反对 LLM，也不是反对开源模型。恰恰相反，他理解 LLM 的产业价值，也支持开放生态。

但他认为，LLM 不是下一代现实智能的最终蓝图。

从他的角度看，大公司一旦进入产品竞赛，就会自然地把资源集中到当下最能变现、最能追赶对手、最能交付季度结果的方向上。

这很合理。

公司不是大学。

但问题是，真正的新范式，往往需要在“还没被证明能赚钱”的时候被长期下注。

LeCun 把 AMI Labs 放在巴黎，而不是硅谷，也有象征意义。

他在访谈里批评硅谷的羊群效应：所有人都在挖同一条沟。

这句话当然有个人风格，但背后有一个真实问题：

当整个行业都在追逐同一种 benchmark、同一种产品形态、同一种聊天界面、同一种 scaling 路线时，谁来探索下一条路？

他还用了一个很有意思的历史类比：

OpenAI、Anthropic 这样的闭源模型公司，可能像当年的 Sun Microsystems。

当年互联网基础设施早期，有很多专有 Unix、专有硬件、专有服务器系统。后来，Linux 和开源软件基础设施把它们大面积替代。

这个类比不一定会完全成真。

但它提醒我们：AI 产业的终局，未必是几个闭源大模型公司永远垄断智能入口。

如果 AI 真的是基础设施，它大概率会出现开放、分布式、本地化、主权化的力量。

这也接上了 LeCun 访谈里的另一个项目：Tapestry。

他的想法是，未来每个人的信息饮食都会被 AI 助手中介。那如果全世界都用少数美国西海岸公司或中国公司训练出的 AI 助手，语言、文化、价值观、政治倾向都会被集中塑形。

所以，很多国家会想要自己的 AI 主权。

这个判断和我们之前写的数据墙、小模型、端侧 AI、开源闭源之争，都能接起来。

但在这篇文章里，我只想保留一个重点：

LeCun 离开 Meta，不只是一个人的职业选择。

它象征着一个问题：

当 LLM 路线变成产业主航道之后，下一代 AI 的探索会在哪里发生？

在大公司内部？

在新创业公司？

在大学？

在开源社区？

还是在那些不想把文化和数据全部交给少数平台的国家与行业里？

这不是八卦。

这是范式切换前夜常见的结构。

八、三个人其实都没有完全错

现在，我们可以回到开头那三个人。

Hinton、Bengio、LeCun，看起来像是在争论 AI 到底危不危险。

但更准确地说，他们在看不同时间尺度、不同系统形态、不同风险来源。

Hinton 看的是能力上升之后的控制问题。

如果 AI 有一天真的在大量认知任务上超过人类，而且能自我复制、说服、规划、影响现实，那人类如何保持控制？

这个问题不能轻易嘲笑。

因为历史上，人类创造的很多系统，一开始都是工具，后来都变成了环境。金融系统、社交网络、推荐算法、全球供应链，都是这样。它们未必有主观意识，却已经能反过来塑造人类行为。

Bengio 看的是对齐和可信问题。

如果我们继续训练越来越强、越来越 agentic 的系统，让它们追求目标、优化结果、影响世界，我们需要什么样的安全框架？有没有可能先做更像科学家的 AI，而不是更像行动者的 AI？

这个问题也不能跳过。

因为能力越强，越不能只靠事后补丁。

LeCun 看的是架构和现实智能问题。

他问的是：今天的 LLM 到底有没有足够的后果预测、规划能力、现实模型和数据效率，去承担真正的行动任务？

这个问题更近。

因为我们现在已经在把 LLM 接进工具系统。

这三种问题不是互斥的。

它们更像三个层级：

信息层风险：AI 会不会说错、误导、幻觉？ 行动层风险：AI 会不会在现实流程里做错？ 控制层风险：AI 足够强之后，人类还能不能约束它？

Hinton 更关注第三层。

Bengio 横跨第二层和第三层。

LeCun 把问题拉回第二层，并且说：如果没有世界模型，第二层都过不去。

这也是为什么我觉得这场争论不该被写成“谁打脸谁”。

真正有启发的是：

AI 风险不是一个东西，而是一条从错误答案到错误行动，再到错误目标的光谱。

不同的人站在光谱的不同位置上，看见了不同的阴影。

九、对我们有什么启发

如果只把这场讨论当成 AI 圈名人争论，它离普通人很远。

但如果把它放回我们每天使用 AI 的场景，它就非常具体。

以后我们判断一个 AI 系统，不能只问：

它聪不聪明？

也要问：

它被允许做什么？

它有没有撤销机制？

它错了以后，损失在哪里发生？

它的行动有没有沙盒？

它有没有外部验证器？

它有没有人类确认节点？

它能不能在行动前预演后果？

比如，一个写作助手，风险主要是文字。

一个编程 Agent，风险进入文件系统、依赖环境和生产代码。

一个办公 Agent，风险进入邮件、日程、文档和组织流程。

一个交易 Agent，风险进入金钱。

一个机器人，风险进入物理世界。

一个医疗 AI，风险进入人的身体。

权限每上升一级，AI 就从 token 空间向后果空间走一步。

所以，未来真正成熟的 AI 产品，不会只是模型更大、上下文更长、回答更流畅。

它还需要一整套结构：

沙盒。

权限。

回滚。

验证器。

约束函数。

世界模型。

人类确认。

责任边界。

这些东西听起来没有“AGI”刺激。

但它们可能决定 AI 能不能真正进入现实世界。

因为现实世界不奖励会说漂亮话的系统。

现实世界奖励能承担后果的系统。

尾声：语言是入口，不是世界本身

LLM 的伟大，在于它把语言世界打开了。

它让机器第一次如此自然地进入人类的符号系统：文字、代码、知识、推理、风格、对话、解释。

这已经是巨大的革命。

但语言不是世界本身。

语言是世界的压缩。

代码是行动的描述。

计划是未来的草图。

地图不是土地。

一个真正能进入现实世界的 AI，不能只会在语言里移动。

它要知道行动会改变什么。

它要能在动手前想一下。

它要能区分“看起来完成了”和“真的完成了”。

它要能把目标、约束、代价和后果放在同一个内部沙盘里。

所以，LeCun 和 Hinton 的分歧，不只是两位图灵奖得主的观点冲突。

它提醒我们，AI 正在从一个问题走向另一个问题：

过去的问题是：

机器能不能说出像人一样的话？

现在的问题是：

机器说完之后，能不能知道自己接下来做什么？

更深的问题是：

当它真的开始做了，谁来承担后果？

这也许就是下一阶段 AI 最重要的转折。

不是从不会说话到会说话。

而是从会说话，到知道一句话之后世界会怎样改变。

真正的智能，不只是会接下一个 token。 真正的智能，是在行动前有后果感。

• 《世界模型之争 —— LLM 到底懂不懂这个世界？》

  ：理解 LeCun、Hinton 与世界模型路线的底层分歧。

• 《机器人的 GPT 时刻：从会聊天到会干活》

  ：理解 VLA 如何把语言、视觉和动作接到一起。

• 《谁在决定 AI 的性格？——从文字接龙到讨好型机器》

  ：理解偏好训练、产品目标和 Agent 外壳如何塑造 AI 行为。

• 《AI 吃完互联网之后，还能继续变聪明吗？》

  ：理解下一代 AI 为什么要从网页走向经验、反馈和真实行动。

• 《推理是一种坍塌吗？——AI 思考时，内部到底发生了什么》

  ：理解 token 空间里的推理结构，和本文的后果空间形成一组上下篇。

• ACM, 2018 A.M. Turing Award: Fathers of the Deep Learning Revolution

• Unsupervised Learning, Ep. 86: Yann LeCun on Leaving Meta, Breaking the LLM Paradigm, and Why Hinton is Wrong

• Yann LeCun, A Path Towards Autonomous Machine Intelligence , 2022

• Geoffrey Hinton, Nobel Prize Banquet Speech , 2024

• The Guardian, Geoffrey Hinton quits Google and warns over dangers of AI , 2023

• International AI Safety Report, International AI Safety Report 2025

• LawZero, Introducing LawZero and Scientist AI

• TechCrunch, Yann LeCun's AMI Labs raises $1.03B to build world models

AI-lab学习笔记