Ilya重新定义AGI: 为什么ChatGPT离真正的AGI还很远

从OpenAI离开后，Ilya Sutskever从公众视野中消失了许久。

前段时间，他终于上了个视频播客节目，和主播Dwarkesh Patel聊了1小时36分钟，把他现在对AGI的看法完整表述了一遍。

如果你不知道Ilya是谁的话，简单介绍下，他是OpenAI前首席科学家,GPT系列的核心设计者,现在创办了SSI(Safe Superintelligence Inc.)。

我关注Ilya很久了。从ChatGPT发布起,他的每一次公开发言,我都会仔细看。这个人对AI的理解,比大多数人深太多。

这次访谈更狠。他提出了一个颠覆性的观点:

我们对AGI的理解,可能从一开始就错了。

AI行业的大转折:规模时代结束了

在讲AGI之前,Ilya先说了一个更大的背景。

他说了一句让我印象很深的话:

"2020到2025,是规模时代(Age of Scaling)。但现在规模已经够大了。我们回到了研究时代(Age of Research)——只不过这次有大算力支持。"

什么意思?

过去5年,AI公司都在做一件事:堆数据、堆算力、堆参数。

规模定律(Scaling Law)吸走了所有空气。所有人都在做同样的事:

• 2020:GPT-3,175B参数

• 2021-2024:所有公司疯狂扩大预训练规模

• 数据从TB级到PB级

• 算力从百GPU到万GPU

Ilya甚至说了一句狠话:

"Scaling sucked out all the air in the room. Everyone started to do the same thing. We got to the point where there are more companies than ideas by quite a bit."

公司数量比想法还多。这话太准了。

但现在呢?

规模已经足够大了。再100x也不会带来质变。数据快耗尽了,算力再堆10倍,能力提升可能只是边际改善。

接下来拼什么?拼想法。拼对AI本质的理解。

这也是为什么SSI才有机会——不再是纯拼预算,而是拼研究深度。

说实话,这个判断如果是对的,对整个AI行业的影响会很大。意味着小团队、研究驱动的公司,又有机会了。

模型很强,但经济影响很弱——为什么?

Ilya提出了一个让所有人困惑的问题:

"现在的模型在评测(evals)上表现惊人。但经济影响远远落后。怎么解释这个矛盾?"

你看各种benchmark:

• 代码竞赛:超过人类平均水平

• 数学问题:接近IMO金牌选手

• 复杂推理:能解决博士级别的题目

但实际用起来呢?

会在两个bug之间循环。会重复说同样的话。前一句话和后一句话自相矛盾。

为什么会这样?

Ilya给出了一个绝妙的类比。

学生A vs 学生B:AI过度训练的陷阱

想象两个学生:

学生A: 要成为竞赛编程冠军。于是疯狂练习10,000小时,刷了所有竞赛题,背下所有算法,成为顶尖竞赛选手。

学生B: 也觉得竞赛编程挺有意思,练了100小时,也做得不错。

问题来了:谁在以后的职业生涯中会更成功?

十有八九是学生B。

为什么?

因为学生A只会做竞赛题。遇到实际项目,遇到没见过的问题,就懵了。

学生B虽然练得少,但他有"那个东西"——学习能力、举一反三的能力、解决新问题的能力。

现在的AI就是学生A。

我们怎么训练大模型的?

1. 预训练: 喂给它所有能找到的数据——所有书、所有代码、所有网页。就像让学生A刷遍所有竞赛题。

2. 强化学习(RL): 针对特定任务疯狂训练。想让它在编程评测上表现好?那就专门训练编程任务,训练到评测分数爆表。

结果呢?评测上确实表现惊人。但真实场景一塌糊涂。

Ilya说了一个观察:

现在所有AI公司都有专门的团队,不停地设计新的RL训练环境。这些环境怎么设计的?

很多时候是从评测中找灵感。

"我希望模型在发布时评测成绩好看,那我就专门训练它做这类任务。"

这就是为什么模型能在评测上做很难的题,却在实际使用中会犯低级错误。

它没有真的理解,只是记住了而已。

Ilya甚至说了一句狠话:

"The real reward hacking is the human researchers who are too focused on the evals."

真正的奖励破解(reward hacking),是研究人员太关注评测分数了。

人类的秘密武器:泛化能力

这是整个访谈中最让我震撼的部分。

Ilya说:人类用更少的数据,学得更好。

他提到了一个他自己的例子:

"我5岁的时候,超级喜欢汽车。那时候我对汽车的识别能力,已经足够支撑开车了——虽然我还没法开,但我能认出所有车型。"

想想看,一个5岁小孩:

• 见过的世界很小(大部分时间在家)

• 数据多样性极低(每天看到的东西差不多)

• 训练数据量只是大模型的零头

但人类学到的东西,理解得更深。

15岁的人类,学习的数据量只是GPT预训练数据的千分之一。

但人类不会犯AI犯的那些低级错误:

• 不会在两个bug之间循环

• 不会重复说同样的话

• 不会前一句话和后一句话自相矛盾

那人类靠什么做到的?

价值函数:人类内置的"对错感"

Ilya提到了一个神经科学案例:

有个人大脑的情绪处理中枢受损了。他不再有情绪——不会难过、不会愤怒、不会兴奋。

在测试中,他依然能说话、能做智力题,看起来一切正常。

但他完全丧失了决策能力。

选穿哪双袜子,能纠结好几个小时。做财务决策,完全一团糟。

这说明什么?

情绪系统是人类的内置"价值函数"(Value Function)。

它告诉我们:什么是好的,什么是坏的,什么事情值得做,什么事情不值得。

没有这个系统,即使智力正常,也无法在真实世界中运作。

那什么是价值函数?

Ilya给了个很清楚的解释:

"你下棋,丢了一个子,你不用下完整盘棋就知道自己犯错了。价值函数能让你提前知道:这步是好是坏。"

现在的AI怎么训练的?

你让它写1000行代码,等它写完,你告诉它"对"或"错"。它学不到中间过程哪一步走错了。

如果有价值函数呢?

AI写到第100行,价值函数就能判断:"这个方向不对,应该换思路。"不用等到写完1000行才发现。

人类就是这么学的。

你编程时写了几行代码,感觉"不对劲",就会停下来重新思考。这就是你的价值函数在起作用。

AI现在缺的,可能就是这个。

Ilya说他对怎么解决有想法,但"由于种种原因,无法详细讨论"。(这个有点神秘,估计是SSI的核心竞争力)

新定义: AGI不是"全知全能",而是"能学会任何事"

说了这么多,终于到了核心:Ilya对AGI的重新定义。

什么是AGI(通用人工智能)?

问十个人,九个会说:能做所有工作的AI。

OpenAI的定义就是这样——"能胜任人类所有经济价值工作的系统"。

听起来很合理对吧?

但Ilya说:等等,这个定义好像哪里不对。

为什么?

他给了个很直接的理由:人类自己都不是AGI啊。

你想想,一个普通人知道多少东西?

你会编程吗?不一定。会做心脏手术吗?肯定不会。会设计芯片吗?更不可能。

人类缺少大量的知识。我们不是"什么都会"。

那为什么人类是"通用智能"?

很简单——我们能学。

你不会编程?给你几个月时间,你能学会。你不懂医学?让你去医学院学几年,你能成为医生。

人类的"通用"体现在哪?不在"已经会了",在"能学会"。

所以,Ilya给出了新的AGI定义:

AGI不是"已经会做所有工作",而是"能学会做所有工作"。

他给了一个很形象的比喻:

"想象我造出了一个15岁的超级智能学生。他非常聪明,学习能力极强,但知识储备几乎为零。" "你让他去当程序员,他会去学编程。" "你让他去当医生,他会去学医。" "这就是AGI。"

这个定义的核心是什么?

持续学习能力(Continual Learning)。

不是一次性训练好,然后什么都知道。

而是:

• 快速学习: 比人类更快掌握新技能

• 深度理解: 真正理解,不只是记住

• 灵活迁移: 一个领域学到的东西,能用到其他领域

这才是真正的"通用"。

SSI的战略调整:从"直击超级智能"到渐进式部署

这个新定义,改变了SSI的整个战略。

SSI最初的计划是"straight-shot superintelligence"——直击超级智能。

什么意思?就是不发布中间产品,埋头研究,直到造出真正的超级智能才发布。

好处是:避免市场竞争的各种权衡和压力,专注研究。

但Ilya说,这个计划可能会调整。

为什么?

因为AI的部署本身就是学习过程。

你想想,人类的很多系统是怎么变安全的?

• 飞机为什么现在这么安全?不是因为设计师一开始就想清楚了所有问题,而是通过事故、改进、再事故、再改进,迭代了几十年。

• Linux为什么bug这么少?不是因为Linus一开始就写出了完美代码,而是无数人在实际使用中发现问题、修复问题。

AI可能也需要这样。

Ilya说:

"很难想象有哪个工程领域,是纯靠思考就能做到安全的,而不需要实际部署和反馈。"

所以,即使是"直击超级智能",也需要渐进式发布。

更重要的是:展示AI的价值。

Ilya说了一句很有意思的话:

"你写一篇文章说'AI会怎样怎样',别人看了会说'挺有意思的'。" "但当你让别人看到AI实际在做这个、做那个——那完全不一样。"

看到 vs 听说,天壤之别。

这也是为什么SSI可能会改变策略,在中间阶段就发布产品。(这个转变挺关键的,说明Ilya也在务实地思考商业化)

对我个人的启示

这个新定义,不只是对AI行业的颠覆。

对我个人也有深刻触动。

我做了5年产品、开发、内容创作。如果按传统思路,我应该选一个方向深挖,成为某个领域的专家。

但在AI时代,这个策略好像不太对了。

为什么?我最近一直在想这个问题。

你看:

• 我2023年研究的Prompt技巧,很多现在不需要了

• 我半年前用的AI工具,现在又出了更好的

我有段时间很焦虑。总觉得自己在追,但永远追不上。

直到听完Ilya这次访谈,我突然想明白了:

如果我只是积累知识,我永远追不上。

但如果我培养的是学习能力——快速上手新工具、快速理解新概念、快速应用到实际问题——那我永远不会过时。

这就是为什么Ilya说,AGI的本质是学习能力,而不是知识储备。

人类在这方面还有巨大优势。我们可以:

• 快速切换领域

• 从失败中学习

• 举一反三

• 在不确定中探索

这些,AI还做不好。但差距在缩小。

当AI也有了真正的持续学习能力,当它也能像15岁的天才学生一样,快速学会任何新技能...那时候,竞争会更激烈。

所以,现在就该问自己:

我的学习能力,够强吗?

我能多快掌握一个新领域?

我能不能在AI的帮助下,学得更快?

这些问题的答案,决定了你在AI时代能走多远。

Ilya的这次访谈,还谈了很多其他内容:

• 为什么强化学习现在花的算力已经超过预训练

• SSI怎么用30亿美元跟OpenAI的百亿预算竞争(这个数据挺有意思,OpenAI年研究支出50-60亿,但大部分分散在产品、销售等方向。SSI只做研究,实际研究算力差距没那么大)

• 怎么让超级智能"关心所有有感知能力的生命"

• 为什么AI对齐比想象中难

每一个都值得单独写一篇文章。

但这篇文章,我想聚焦在这个核心洞察上:

AGI不是"什么都会",而是"什么都能学"。

这个定义,改变了我对AI的理解。也改变了我对自己的期待。

在AI时代,知识不再是护城河。学习能力才是。

附: Ilya完整访谈在这里 → https://www.youtube.com/watch?v=aR20FWCCjAs

• 时长: 1小时36分钟

• 嘉宾: Ilya Sutskever (SSI创始人, 前OpenAI首席科学家)

• 主持: Dwarkesh Patel

• 发布时间: 2025年12月

强烈推荐完整看一遍。这是今年必看的访谈之一。(我看了两遍,第二遍才真正理解他说的价值函数那段)

你觉得现在的AI,离Ilya说的"15岁天才学生"还有多远?

欢迎评论区聊聊。