大神卡帕西谈AGI：悲观5-10倍

2025年，被称为智能体之年。这一年正在进入尾声，智能体怎么样了？

硅谷AI大神卡帕西（Andrej Karpathy），最近接受科技播客 Dwarkesh Patel长达3小时采访，对AI界提出了一些尖锐的批评。他在对话中说：有些智能体就是垃圾，这个行业“试图假装这很神奇”。播客视频发布之后，引起许多争议。

卡帕西平时写推文的风格，其实一向是反思、谦逊、技术含量很高又带点人文色彩。他又发了一篇长推文，借此澄清了播客中被误读的重点：他并不看空 AGI，只是比当前的乐观情绪更理性；他看好智能体交互、看衰传统 RL；强调“认知核心”与记忆削弱的方向；也批评了过度自动化的 Agent 幻象。

下面是他的长推文翻译，我们做了一点删节，调整了小标题。如下：

很高兴上周能参加 Dwarkesh 的节目。我觉得他的问题和整场对话都非常好。

我刚又重新看了一遍那期播客。首先，是的，我知道——我说话实在太快了，对此我很抱歉。这对我自己其实也不利，因为有时候我的“说话线程”比“思考线程”还快，结果导致有些解释没讲好；有时我又担心自己扯得太远、太枝蔓。总之，这里是一些补充说明：

AGI 时间表：悲观5-10倍

我在节目里谈AGI时间表的部分似乎成了早期反响里最热门的段落。我说的“智能体的十年（decade of agents）”其实指的是我之前那条推文。总体来说，我的 AI 时间线比你在旧金山的 AI 圈聚会或 Twitter 时间线上听到的要悲观 5–10 倍，但相比近来出现的一股“AI 怀疑论”浪潮，我又仍然算乐观。

这并不矛盾——我认为我们确实在近几年 LLM 上取得了巨大进展， 但同时要实现真正的 AGI 仍有大量工作要做：底层工程整合、感知器与执行器接入物理世界、社会制度配套、安全与防护（如越狱、数据投毒）等，还有许多研究任务要完成，才能造出一个“在任何岗位上你都宁愿雇用它而非人类”的实体。

从整体上看，10 年其实已经是个相当乐观的 AGI 时间表——只是与当下的“过热”情绪相比，才显得不那么乐观而已。

动物 vs 幽灵

我在 Sutton 的播客上写过一篇相关的想法。我对“只需放出一种简单算法就能从零学会一切”这类说法持怀疑态度。

如果有人真的造出了这样的系统，那我宁愿被打脸——那将是 AI 史上最惊人的突破。

在我看来，动物绝不是这样的例子。它们在出生前就被进化过程预装了大量智慧，出生后的学习其实很有限（比如斑马一出生就能站立奔跑）。从工程角度说，我们不可能“重做一次进化”。

但 LLM 意外地走出了一条替代路径：我们通过预测网络上的下一个 token，而不是生物进化，来“预装”大量智能。 这种方式造出的智能体，不像动物，更像幽灵或灵体（ghosts/spirits）。当然，我们可以也应该让它们逐渐更“像动物”，这也是许多前沿研究正在做的事情。

嘈杂的强化学习

我已经多次批评过RL。首先，它的问题是“像通过吸管吸监督信号（sucking supervision through a straw）”，也就是说信号效率极低。

其次，RL的反馈极其嘈杂：一个生成可能包含许多错误，但只要最终结果正确，就可能把那些错误步骤也奖励了；反过来，一个中途很有洞见的 token 却可能因为后续出错而被惩罚。“过程监督”或LLM 评审也各有问题。

我认为我们会看到新的学习范式出现。我长期看好“智能体式交互（agentic interaction）”，但短期看衰传统 RL。

我最近看到一些论文的方向是对的，类似我之前称作“系统提示学习（system prompt learning）”的思路。但 arXiv 上的点子与能在前沿实验室真正大规模落地的实现之间，仍有鸿沟。

总体我仍然乐观——这一方向的进展会很快出现。 例如，ChatGPT 的记忆功能等，已经是这种新学习范式的原始实践雏形。

认知才是核心

我早先的帖子中，核心想法是剥除 LLM 的记忆，使其更难死记硬背，甚至主动移除部分记忆，从而增强泛化能力。 否则模型会过度依赖所记住的东西。

人类记忆困难——而这反倒可能是个优点，一种天然的正则化。参见我另一篇关于模型规模趋势“反向”的帖子： 为什么“模型必须先变大，然后才能变小”。

低能的智能体

我对当前业界的批评主要是：工具做得过头，而能力还没跟上。我生活在一个“中间状态”的世界——我想与 LLM 协作，我们各有所长。整个业界似乎活在一个未来幻境里：那时完全自主的智能体并行合作写完所有代码，人类已无用武之地。

例如，我并不想要一个跑 20 分钟后回来给我1000 行代码的智能体。我更不想监督 10 个这样的代理团队。

我希望以自己能理解的“块”为单位推进：LLM在写代码时能解释给我听；它能向我证明代码正确；它自动查API文档并展示用法；在不确定时少做假设，多与我协作。

我希望在过程中一起学习，成为更好的程序员，而不是被动地接收一堆“看似能跑的山一样的代码”。

我只是认为：这些工具应该更现实地匹配当前能力和行业需求。否则，若处理不好，我们可能会迎来“软件垃圾山”：漏洞、攻击面、安全问题都会激增。