网易首页 > 网易号 > 正文 申请入驻

彻底改写Transformer!「能量驱动架构」横空出世,通用推理时代要来了?

0
分享至

新智元报道

编辑:海狸

【新智元导读】UIUC、斯坦福与哈佛联合提出全新「能量驱动Transformer(EBT)」架构,突破传统前馈推理方式,以能量最小化模拟人类System 2思维,预训练扩展性能较Transformer++最高提升35%。下一代AI基础架构新变革,来了!

在Transformer统治AI世界十余年之后,

Attention的时代正在退场,真正的思考刚刚开始——

由UIUC、斯坦福、哈佛等顶尖机构联合提出的Energy-Based Transformer(EBT)震撼登场。

它首次将Transformer架构引入能量建模(Energy-Based Models, EBM)框架,彻底打破「前馈即推理」的旧范式。

论文链接:https://arxiv.org/pdf/2507.02092

EBT既不是轻量化微调,也不是RNN的改进,而是一种彻底不同的推理机制:

模型不再一次性「说完答案」,而是像人类一样从模糊猜测出发,逐步优化推理路径。

EBT训练更高效,推理更精准,对OOD(Out of Distribution)数据更稳健,在训练效率、提升幅度等方面大幅超越前馈式Transformer(Transformer++):

并且,EBT在文本与图像等多模态任务中展现出惊人的扩展性能,有望实现无监督跨模态通用推理。

「一次生成」vs「动态优化」

传统Transformer是一种典型的「前馈预测器」,每次推理过程都是按照从输入prompt,到固定的前向传播路径,再到输出结果一次完成的。

无论问题简单还是复杂,模型都以固定的计算路径和步骤完成推理,无法因难度灵活调整。

每个token都只做一次决策,不进行「反悔」或者「修改」。

这就像一个学生答题时,只能「一遍写完不许改」。

在这种模式下,模型既不能「检查答案」,也无法「修正思路」,更谈不上「深入思考」。

而EBT彻底颠覆了这种机制。

EBT对每个预测都进行多轮优化:

  • 不直接输出token,从随机初始预测开始

  • 模型计算该预测与上下文的「能量值」(兼容性高对应能量低,兼容性差对应能量高)

  • 通过对能量的梯度下降,不断更新预测,逐步将其「调得更合适」

这个过程会持续多轮,直到能量收敛,也就是模型认为这个预测「足够合理」了。

这样EBT最后得到的每个token都是动态计算、多步修正的产物,像在能量地形图中「下山」一样逐步收敛到最优答案。

也就是说,模型的「思考」被建模成了一个小型优化任务,不是一遍完全输出答案,而是反复尝试—验证—更新—收敛。

这个「能量最小化」的过程就是EBT前所未有的System 2 Thinking——更慢,更准,更通用的类人深度思考能力。

EBT「三大跃迁」

EBT的思考过程赋予了它三项关键能力上的根本性突破。

动态计算

传统Transformer模型是静态的:每个token、每个预测都使用固定的计算路径和深度,无论问题简单还是复杂,计算量一视同仁。

而EBT拥有动态计算资源分配能力,可以像人一样,遇到简单问题快速处理,遇到困难问题则投入更多思考。

换句话说,EBT可以动态决定要「多想几步」还是「快速收敛」。

不确定度

而且,EBT预测能量的设计决定了它可以在连续空间中表达不确定性。

Transformer虽然能在离散的token输出中使用softmax表示「概率分布」,但在图像、视频等连续 模态中就很难表达不确定性。

EBT预测上下文之间的能量建模,自然地通过能量高低表达了预测的「可信程度」。

这种能力让EBT 能在图像、 视频 等连续任务中识别哪些位置「值得多想」。

自我验证

在能量分数的加持下,EBT天生具备显式的自我验证能力。

每次预测,它都会计算衡量上下文匹配程度的「能量分数」。

这个分数不仅可以用来判断答案是否靠谱,而且可以生成多个候选答案,并挑出能量最低的答案作为最终结果。

这种机制彻底摆脱了对外部打分器或奖励函数的依赖,将「反思」环节引入了模型结构本身。

相比之下,传统架构在「思考能力」上几乎全面溃败。

无论是Feed Forward Transformer还是RNN,都缺乏动态计算分配能力、无法建模连续空间中的不确定性,更谈不上对预测结果进行验证。

就连在生成模型中备受追捧的Diffusion Transformer,也仅在“动态计算”这一项上有所突破,其余两项依然是空白。

相比之下,EBT是目前为止最接近「人类式思考流程」的方案。

越想越准!Transformer望尘莫及

EBT不仅在理论特性上惊艳四座,在实际实验中也表现惊人。

无论有多少数据、加多大批次,模型有多深,EBT都比经典Transformer++学得更快、更省、效果更稳。

具体而言,要达到相同的困惑度(Perplexity),EBT的下降速度快35.98%。也就是说,它只需大约2/3的训练语料,在「数据瓶颈」的情况下更具性价比。

在分布式大批次训练环境下,EBT训练收敛速度比Transformer++快28.46%,深度扩展效率提升5.29%,效率不掉队。

在OOD(Out of Distribution)数据上,EBT也展现出更强的稳健性。

EBT能通过「多轮推理」与「自我验证」大幅缓解泛化性能下降的问题。

相比之下,传统 Transformer++ 的表现几乎不随推理次数改变。

这意味着,哪怕EBT预训练指标比Transformer略差,一旦开始「思考」,它就能后来居上,「越想越准」。

这种「思维带来泛化」的机制,在当前所有主流大模型架构中都是独一无二的。

跨模态通吃:AGI更近一步

只要定义清楚「输入」和「候选预测」,EBT就能在无监督中思考和优化。

EBT的设计不依赖监督、不依赖额外奖励、不局限于文本或编程,天然适用于任意模态与任务。

对于文本,EBT 能自动学出不 同词的规律:简单词能量低,难词能量高,借此自然表达出语义上的不确定性。

在图像任务中,EBT告别Diffusion模型的上百步生成式推理,仅用1%的推理步数就能超越Diffusion Transformer(DiT)在图像去噪和分类上的表现。

视频帧的「不确定性」预测和注意力调整更是不在话下。

这种统一、灵活、高效的推理机制,很可能成为通往「通用智能」的关键。

毕竟,关于大模型的终极疑问始终存在:它们,真的会「思考」吗?

EBT,或许就是首批有资格回答这个问题的架构之一。

参考资料:

https://x.com/AlexiGlad/status/1942231878305714462

https://x.com/du_yilun/status/1942236593479102757

https://arxiv.org/pdf/2507.02092

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
香烟突然大降价,不是良心发现,是老百姓彻底觉醒了

香烟突然大降价,不是良心发现,是老百姓彻底觉醒了

流苏晚晴
2026-11-13 22:20:15
晚年毛主席原谅了很多人,为何唯独不原谅潘汉年?主席对他寒了心

晚年毛主席原谅了很多人,为何唯独不原谅潘汉年?主席对他寒了心

温读
2025-03-13 18:28:10
开拓者遭遇2连败!杨瀚森被DNP,CCTV5中途弃播,诺里又被打脸了

开拓者遭遇2连败!杨瀚森被DNP,CCTV5中途弃播,诺里又被打脸了

董说体育
2026-11-18 12:12:12
美国记者惊呼:中国已成全球顶流!美国青年正经历中国化转变?

美国记者惊呼:中国已成全球顶流!美国青年正经历中国化转变?

科普启示录小强哥
2026-11-14 19:50:07
外媒:中国在百舰演习期间,无预警发射了洲际导弹

外媒:中国在百舰演习期间,无预警发射了洲际导弹

军武吐槽君
2026-11-17 23:04:57
黄仁勋想复出被董事会秒拒,众议院民主党领袖:他对美国太危险了

黄仁勋想复出被董事会秒拒,众议院民主党领袖:他对美国太危险了

社会日日鲜
2026-11-18 15:54:25
外媒:深圳何以成为“奇迹之城”?

外媒:深圳何以成为“奇迹之城”?

中国青年报
2026-11-17 12:48:18
耿同学再开炮!用“虾滑”冒充肿瘤发9.7分论文?湘雅二医院陷入争议!土豆泥肿瘤、男性子宫肌瘤,论文工厂造假有多离谱?

耿同学再开炮!用“虾滑”冒充肿瘤发9.7分论文?湘雅二医院陷入争议!土豆泥肿瘤、男性子宫肌瘤,论文工厂造假有多离谱?

梅斯医学
2026-11-17 20:29:15
冷冷冷!网友:上海的3℃那就是冷到骨头了!上海发布大风蓝色预警信号…

冷冷冷!网友:上海的3℃那就是冷到骨头了!上海发布大风蓝色预警信号…

新浪财经
2026-11-18 12:04:32
作家陈岚点评大S之死,如果汪小菲带大S去旅游,估计连灰都没有了

作家陈岚点评大S之死,如果汪小菲带大S去旅游,估计连灰都没有了

小人物看尽人间百态
2025-02-09 09:12:11
韩国前女总统朴槿惠私生活有多乱,很多人不知道的10个冷知识

韩国前女总统朴槿惠私生活有多乱,很多人不知道的10个冷知识

疯狂的小历史
2026-11-17 11:56:01
中俄美元首首次三方"面谈" 深圳迎来历史性会晤

中俄美元首首次三方"面谈" 深圳迎来历史性会晤

看看新闻Knews
2026-11-17 23:12:04
母亲是著名演员,父亲上亿家产,他却跑龙套11年,如今终成实力派

母亲是著名演员,父亲上亿家产,他却跑龙套11年,如今终成实力派

阿讯说天下
2026-11-18 08:18:31
普京来中国带上三大副总理,办完大事不急着回国,直奔中俄大后方

普京来中国带上三大副总理,办完大事不急着回国,直奔中俄大后方

巷北楠猫本尊
2026-11-17 16:13:32
三次申请全碰壁!印度挤破头想进APEC,到底卡在哪了?

三次申请全碰壁!印度挤破头想进APEC,到底卡在哪了?

小马姨
2026-11-16 09:42:14
山东大师王兴夫被抓捕归案,99名女徒弟揭露内幕,真相让人意外

山东大师王兴夫被抓捕归案,99名女徒弟揭露内幕,真相让人意外

诡谲怪谈
2025-03-25 17:25:18
流亡的阿萨德一家何去何从?俄罗斯近日表明了明确态度:即便法院判了死刑,阿萨德也休想离开俄罗斯

流亡的阿萨德一家何去何从?俄罗斯近日表明了明确态度:即便法院判了死刑,阿萨德也休想离开俄罗斯

人生录
2026-10-22 00:20:08
女子谈释永信过往,她们姐妹住少林寺3天2夜,争着往释永信房间跑

女子谈释永信过往,她们姐妹住少林寺3天2夜,争着往释永信房间跑

江山挥笔
2025-07-29 16:50:59
麦丹准绝杀!开拓者惜败森林狼遭双杀,多苏姆30分利拉德25+5

麦丹准绝杀!开拓者惜败森林狼遭双杀,多苏姆30分利拉德25+5

湖人崛起
2026-11-18 11:38:46
“1600元的烤全羊剥不出1两肉!”四川一游客称自己在民宿订餐 和预期严重不符

“1600元的烤全羊剥不出1两肉!”四川一游客称自己在民宿订餐 和预期严重不符

闪电新闻
2026-11-18 11:57:54
2026-11-18 21:11:00
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16711文章数 67239关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

游客花1600元买的烤全羊剥不出1两肉 官方通报

头条要闻

游客花1600元买的烤全羊剥不出1两肉 官方通报

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

时尚
健康
旅游
本地
家居

奶瓶界爱马仕,批量收割中产父母

医生眼里"很伤腰"的椅子,很多人天天坐

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

本地新闻

乌兰察布:以前种土豆,现在种Token

家居要闻

2026建博会(广州) 公装联探展交流活动

无障碍浏览 进入关怀版