网易首页 > 网易号 > 正文 申请入驻

奥特曼宣判Transformer死刑! AGI两年内降临,下一代架构已在路上

0
分享至


新智元报道

编辑:好困 桃子

【新智元导读】终结Transformer的架构即将诞生!奥特曼最新访谈豪言,下一代AI架构彻底颠覆Transformer,LSTM的命运或将再次上演。

Transformer的最大受益者,亲手给它判了死刑!

这几天,Sam Altman回到斯坦福,面对一群大二学弟学妹,扔出了一颗深水炸弹——

未来一定会诞生全新的底层架构,性能跃升不亚于当年Transformer对LSTM的降维打击

要知道,GPT帝国就建在Transformer上面。

ChatGPT、GPT-4、o1、Codex,全是这套架构的果实。

而现在,摘果子的人亲口说:这棵树的寿命快到头了。

甚至,奥特曼直言不讳,我们所追求的AGI可能只是一次「热身」(warm up)而已

而下一代全新架构突破已在路上——现有的高阶LLM已具备足够的认知力,能够作为人类智力杠杆,亲手推开另一个技术范式的大门。


用AI找到下一个Transformer

人们都说,暴力出奇迹,但暴力本身也有极限。

Transformer有一个天生的算力黑洞:文本长度翻10倍,计算量翻100倍。

这就是为什么今天跑GPT-5.4级别的模型,烧钱速度是天文数字。

奥特曼显然看到了这面墙。但他并不觉得没路走了,恰恰相反,他觉得推翻这堵墙的工具已经到手了。

访谈中有一句极其关键的话:现在的模型终于聪明到可以辅助人类去做这种级别的科研了


意思是,找到下一代架构这件事本身,已经可以让AI来帮忙了。

用当下的AI去发现能取代它的新架构,逻辑链条很清楚:

模型越强→科研效率越高→新架构被发现的概率越大→新架构反过来让模型更强。

一个自我加速的飞轮,就这样形成了。

奥特曼之所以有底气下这个判断,跟一路走来对范式转换的独特嗅觉有关。

大一暑假,他跑去斯坦福的AI实验室打工,结论是「这些玩意儿根本没戏」,然后就跑去搞别的创业了。

不过,对AI的关注却从未间断过。用奥特曼自己的话说,这是一种「抬头看全局」的习惯,别陷入管中窥豹。

2012年AlexNet横空出世,他和大多数人一样,觉得「挺酷的」,但没往心里去。


接下来几年,深度学习模型越做越大、越做越强,奥特曼一直在旁边看着。直到某个临界点,感觉彻底变了——这东西简直像一颗正在逼近的小行星,极其疯狂,但整个世界居然没几个人当回事。

于是2015年OpenAI成立。核心信念只有一条:把深度学习的规模往死里推,看看会发生什么。

但当时说要建AGI实验室,整个行业的老前辈都觉得他们疯了,甚至直接说他们是骗子。

不过结果大家都看到了。

GPT-2让奥特曼第一次见到计算机做出了前所未有的事情,GPT-3惊艳了世界,GPT-4更上一层楼。当你站在一个正确的范式上死磕,回报是指数级的。

现在,同样的直觉被投射到了下一个范式上。

Transformer不是终点,就像LSTM不是终点。

奥特曼甚至给了具体建议:

如果现在是一个研究者,会死磕这个方向,去找「哪里能挖出核弹级突破」,而且会重度依赖大模型来做科研助手。

Greg公寓里的白板

一个改变世界的夜晚

这场访谈最好看的部分,是奥特曼对OpenAI草创期的回忆。

OpenAI第一天上班,大家聚在联合创始人Greg Brockman的公寓里。

早上9点半、10点,八九个人陆陆续续到了,坐在沙发上,面面相觑。

然后有人开口:「好吧,咱们干点啥?」

有人提议写几篇论文。又有人说得先弄块白板。然后就有人直接在亚马逊上下单,加急配送。

奥特曼说当时内心一阵恐慌:这不行啊。这既不像正儿八经的创业公司,也不像任何能成事儿的组织。

但他紧接着说了一句非常奥特曼的话:在那种时刻,你只要深呼吸,相信如果身边聚的都是最优秀的人,事情总会迎刃而解。

他赌对了。


就在那第一周,后来成为OpenAI前四年核心理念的大部分点子,都被写在了那块白板上。尽管当时他们自己都觉得这些想法不靠谱。

他们一开始压根没想过做产品。

奥特曼反复强调,他们以为自己就是个纯研究实验室,发发论文就好了。

但后来两件事变得越来越清晰:

  • 第一,这条路蕴含的经济价值远超想象;

  • 第二,需要的资金不是几十亿,而是数以千亿计。

而真正让奥特曼建立起信仰的转折点,是GPT-2。

他说不记得GPT-2发布那天的具体日期了,但他永远记得第一次跟那个模型对话的那个夜晚。

它做出了我以前从未见过计算机能做出的事情。

那一刻他觉得,妥了,这就是了。

至于GPT-2为什么暂缓发布?奥特曼承认,事后看来有些过度谨慎,但他觉得面对AI每一个新的能力台阶,稍微偏向谨慎一点没坏处。

当然也不能怂过头。如果企业不以足够快的速度拥抱AI,就会被完全自治的AI公司干掉,那才是真正的灾难。

斯坦福访谈全景

奥特曼的10个判断

架构预言和创业往事之外,奥特曼在这场访谈中还密集输出了大量观点,几乎每一条都值得单独拎出来聊。

1. AGI两年内降临。

奥特曼直接告诉台下的大二学生:

等你们毕业的时候,你们将踏入一个已经有AGI的世界。

当然,人类的底层驱动力不会变,你还是得搬家、找工作、考虑成家立业。

但科学研究将被高度自动化,创办初创公司和去大厂打工的意义都将被彻底改写。

2. 编程智能体是下一个ChatGPT时刻。

下一个引爆点是什么?奥特曼没犹豫:编程AI智能体。

紧随其后、但尚未完全引爆的,是AI在所有知识型工作中执行任务的同等能力。

不过,距离这一天已经不远了。

3. 一个人能干出一家中型公司的活儿。

未来会涌现大量一个人或六个合伙人的微型初创公司,影响力和营收甚至能跟今天的中大型企业掰手腕。

奥特曼说iPhone问世算是上一次这种级别的机会,这一次更猛。

不仅能做以前不敢想的事,还能用极少的人力极快地把产品和公司建起来。

4.AICEO?不是不可能。

聊到AI对社会的影响,奥特曼说了句耐人寻味的话:

他绝不会自欺欺人地认为,不太遥远的未来不会出现一个比他更适合执掌OpenAI的AI CEO。

如果有的公司或国家拥抱了AI而别人没有,竞争力差距将是碾压级的。

这背后的政治、经济、社会冲击,他坦言自己也还没完全想明白。

5. 但别慌,人类的适应力被严重低估了。

奥特曼不是AI末日论者。

他反复强调一个观点:AGI听起来像是要彻底颠覆社会,但身处其中的感觉不会像听上去那么惊悚,顶多头几天觉得有点懵。

人类渴望对彼此有价值、渴望竞争、渴望创造、渴望表达,这些底层驱动力不会消失。

也许100年后的职业跟今天毫无相似之处,但人永远有事可做,也永远在意人与人之间的连接。


6. 别怕跟OpenAI竞争。

有人问,OpenAI变成终极巨头怎么办?

奥特曼的回答出乎意料地坦诚:当年所有人都说不可能跟谷歌打,结果我们打出来了。

总有一天会有比OpenAI更大更成功的公司诞生,而他们绝对不会走一模一样的路。

他甚至说,谷歌当初如果不那么「拉胯」,OpenAI根本不可能出头。

大厂有大厂的通病。

7. 烧钱快,但不慌。

面对「OpenAI烧钱速度恐怖」的尖锐提问,奥特曼很淡定:烧钱确实快,但如果今年砸10亿是为了明年赚30亿,世界上大把资本排队想做这笔买卖。

8. 自研芯片是认真的,盖数据中心免谈。

OpenAI有庞大的定制芯片计划,对自家推理芯片极其兴奋。

至于自建数据中心,用奥特曼原话说就是:真的一万个不想干这苦力活。

被逼到那一步也会上,但最好是把服务器机架设计到极致,脏活累活让别人干。

9. 社交产品要被撕开一条口子了。

奥特曼觉得AI的机会远不止给现有软件「塞个AI进去」。

他举了社交产品的例子:想象一堆AI智能体代表各自的用户在虚拟空间自主聊天、交换信息,这才是底层逻辑的颠覆。

10. 知道很容易,做到更难了。

这是奥特曼博客第一篇文章里就写过的话。

AI时代还成立吗?他说比以前更成立了。

获取知识越来越容易,做成事情虽然也变容易了,但那是对所有人而言的——你得跟全世界一起卷。

他说他认识的那些把AI工具玩得最溜的顶尖高手,都觉得自己的工作从来没有比现在更难。

工具强到离谱,但用好它们以保持顶尖竞争力也前所未有地艰难。

Sam,你真的快乐吗?

访谈最后一个意外瞬间,是学生的灵魂拷问。

要知道,这是一个每天早上8点以后人生就彻底失控的CEO。

先工作几小时,陪孩子一小时,然后去公司,从那之后就是纯粹的兵荒马乱。

用他的话说,没有哪家公司像OpenAI这样跑得这么快、内部这么混乱、还死死顶在所有人枪口上。

但奥特曼说,他现在是他认识的人里最快乐的之一。

他分享了一个改变人生的认知转变。

大多数人觉得糟糕经历的反面是美好经历,所以遇到坏事就痛苦。但他把问题重构了,糟糕经历的反面,其实是彻底失去体验的能力。

总有一天你连体验的资格都没有了,到那时你甚至会怀念那些被虐的日子。

后Transformer赛道

革命已经开始

奥特曼的预言不是空中楼阁。

「后Transformer」的竞赛早就打响了,进展比大多数人想象的快得多。

最高调的挑战者是Mamba。

Albert Gu和Tri Dao在2023年底提出的这一架构,彻底绕开了「注意力机制」,改用状态空间模型(SSM)处理序列。

简单说,Transformer读一段话要让每个词跟其他所有词「对视」一遍,Mamba只维护一个固定大小的记忆状态,线性时间搞定,推理吞吐量直接快5倍。2026年初Mamba已进化到第三代,论文被ICLR 2026接收。

产业界的动作更能说明问题。

英伟达在2025年发布Nemotron-H系列,92%的注意力层被Mamba层替换,推理速度提升3倍,精度不降反升。

到2025年底,英伟达全线新模型(Nemotron 3 Nano/Super/Ultra)全部切换到Mamba-Transformer混合架构。

AI21 Labs的Jamba、IBM的Bamba、微软的Phi-4-mini-flash-reasoning、LSTM之父Sepp Hochreiter亲自操刀的xLSTM,也纷纷加入混合阵营。

更野的方向也有:Liquid AI搞出的液态神经网络(Liquid Neural Networks),灵感来自一条只有302个神经元的线虫。

它用微分方程驱动神经元,推理时还能继续学习、实时适应环境变化,19个神经元就能控制自动驾驶。2026年1月发布的LFM2.5模型,用远小于Transformer的参数量跑出了惊人的性能。

下一次大迁徙,会诞生谁?

回顾历史,从LSTM到Transformer的每一次架构级迁徙,都释放了一个数量级以上的能力增长,同时也诞生了定义时代的伟大公司。

上一次迁徙,诞生了OpenAI。下一次呢?

奥特曼自己都说了:总有一天会有比OpenAI更大更成功的公司出现。

也许此刻,那个未来的创始人正坐在某个宿舍里,对着一块亚马逊加急配送的白板,写下第一个不靠谱的想法。

而他手里多了一个前所未有的利器——AI本身。

参考资料:

https://x.com/rohanpaul_ai/status/2033117083127644536?s=20

https://www.youtube.com/watch?v=FjlymGBt-vY

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
五粮液正式下场!推首款光瓶酒,100%纯粮定价399,杀入中产圈

五粮液正式下场!推首款光瓶酒,100%纯粮定价399,杀入中产圈

影像渭南
2026-03-16 16:12:04
越方披露对越作战真相:我军若迟撤五日,谅山兵力将被全歼

越方披露对越作战真相:我军若迟撤五日,谅山兵力将被全歼

唠叨说历史
2026-03-13 11:43:20
仅次于中国,全球第二名!今年,美国稀土精炼产量有望达到1万吨

仅次于中国,全球第二名!今年,美国稀土精炼产量有望达到1万吨

南生今世说
2026-03-16 15:57:47
金价:重磅消息,金价,下个月或将重现15年的历史

金价:重磅消息,金价,下个月或将重现15年的历史

小陆搞笑日常
2026-03-17 01:14:58
5-0横扫!斯诺克中国德比:赵心童造惨案,下轮对手+时间也确定了

5-0横扫!斯诺克中国德比:赵心童造惨案,下轮对手+时间也确定了

小火箭爱体育
2026-03-16 21:38:45
意外!拜合拉木首发代表成都蓉城踢中超,因表现平平遭到球迷质疑

意外!拜合拉木首发代表成都蓉城踢中超,因表现平平遭到球迷质疑

懂个球
2026-03-17 00:01:59
威廉怒了!母亲节罕见高调缅怀戴安娜,疑因哈里梅根又双叒要消费王妃圈钱!

威廉怒了!母亲节罕见高调缅怀戴安娜,疑因哈里梅根又双叒要消费王妃圈钱!

小鱼爱鱼乐
2026-03-16 23:39:09
拖垮一个普通家庭,只需要一辆20万的车。

拖垮一个普通家庭,只需要一辆20万的车。

老陆不老
2026-03-16 16:43:00
烂交易!场均6.5分,换来5首轮,尼克斯感觉被掏空,太难了

烂交易!场均6.5分,换来5首轮,尼克斯感觉被掏空,太难了

球童无忌
2026-03-16 22:39:50
王千源16岁女儿近照曝光!父女俩现身F1,小苹果变清秀大姑娘了!

王千源16岁女儿近照曝光!父女俩现身F1,小苹果变清秀大姑娘了!

老黯谈娱
2026-03-16 20:46:59
血赚!曼联躺赚 1 亿,周薪 22.5 万巨星敲定离队

血赚!曼联躺赚 1 亿,周薪 22.5 万巨星敲定离队

奶盖熊本熊
2026-03-17 04:08:01
中美考虑建立促进双边贸易投资合作的工作机制

中美考虑建立促进双边贸易投资合作的工作机制

界面新闻
2026-03-17 06:59:32
河南一男子享受“皇帝”待遇,养几十个女人,还说有钱就要这样干

河南一男子享受“皇帝”待遇,养几十个女人,还说有钱就要这样干

江山挥笔
2026-03-15 18:13:59
被抛尸女子丈夫首发声!凶手是老板,两人你情我愿,果然还有猛料

被抛尸女子丈夫首发声!凶手是老板,两人你情我愿,果然还有猛料

离离言几许
2026-03-16 15:06:02
看看这份战损清单,你说美军这仗还怎么打?

看看这份战损清单,你说美军这仗还怎么打?

李光满说
2026-03-15 15:12:10
白人女性与黑人女性的体味差异,网友真实分享引发热议

白人女性与黑人女性的体味差异,网友真实分享引发热议

特约前排观众
2025-12-22 00:20:06
把英语请下神坛:别让外语枷锁困住中国下一代!

把英语请下神坛:别让外语枷锁困住中国下一代!

达文西看世界
2026-03-16 15:50:38
广州长隆野生动物世界马术表演女子意外坠马    工作人员回应

广州长隆野生动物世界马术表演女子意外坠马 工作人员回应

半岛晨报
2026-03-16 13:12:29
悲催!丈夫月收入从2万到四五千,从程序员到送快递,女子想离婚

悲催!丈夫月收入从2万到四五千,从程序员到送快递,女子想离婚

火山詩话
2026-03-15 10:23:17
魔鬼主场14胜0负!胡金秋16分广厦大胜双杀宁波 塔克29+8

魔鬼主场14胜0负!胡金秋16分广厦大胜双杀宁波 塔克29+8

醉卧浮生
2026-03-16 21:31:11
2026-03-17 08:03:00
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
14737文章数 66693关注度
往期回顾 全部

头条要闻

外媒:美国已输掉了对伊朗的战争 一个动作令中国获益

头条要闻

外媒:美国已输掉了对伊朗的战争 一个动作令中国获益

体育要闻

那个送老奶奶去医院的球员 成了队史第一人

娱乐要闻

姚晨曹郁发离婚声明 多年前已结束婚姻

财经要闻

梁文锋推迟V4,是为根治龙虾的健忘症?

科技要闻

黄仁勋豪言2027年AI芯片收入剑指1万亿美元

汽车要闻

大众全球首款9系旗舰SUV 上汽大众ID.ERA 9X首秀

态度原创

时尚
教育
旅游
游戏
数码

“这个颜色”今天春天又火了!这样穿好看又减龄

教育要闻

同学们,醒醒吧,别再傻傻地去打游戏了!

旅游要闻

对俄免签半年 黑龙江俄籍游客增长超六成

猎魂世界:唐月华抽取价值分析!从未见过如此丧心病狂的增伤狂魔

数码要闻

追觅洗地机双旗舰发布,以场景化方案定义国民高端

无障碍浏览 进入关怀版