网易首页 > 网易号 > 正文 申请入驻

Meta打碎Transformer 8年铁律!改写AI最底层规则,模型首次冒出潜意识

0
分享至

新智元报道

编辑:定慧

【新智元导读】AI最底层规则要被改写,当模型先打腹稿再开口,AI还只是一只概率鹦鹉吗?

Transformer可以说整个LLM的基石,但这个基石要松动了!

8年了!持续了8年的Transformer底层架构似乎要被Meta打破了。

Meta推出「自由Transformer」(Free Transformer)新模型在AI架构领域引发社交媒体热议。

首次打破自2017年以来所有GPT模型的核心规则:不再是逐token盲猜式生成,而是在生成前能「预先思考」。

论文地址:https://arxiv.org/pdf/2510.17558

研究者在解码器中引入了潜在随机变量Z,让模型在输出前进行内部采样与规划,相当于为Transformer增加了一层「潜意识」。

这一创新仅增加约3%的计算开销,却显著提升了模型在推理与结构化生成上的表现,在GSM8K、MMLU、HumanEval等测试中超越更大规模的模型。

Meta称,这可能是第一种「有内在意图」的Transformer。

用潜在随机变量打造机器「潜意识」

Meta在解码器中加入了潜在随机变量(Z)。

可以将其视为生成文本前的「潜意识层」,模型会采样内部选择来引导整个序列的风格或结构。

从技术上讲,这是通过内置在Transformer内部的条件变分自编码器(VAE)实现的。

Meta将其命名为Free Transformer。

不同Transformer架构如何处理名为Z的随机隐藏状态。

图中第一个展示的是标准Transformer,仅根据前序token预测下一个token。

第二个架构增加了随机状态Z,并在训练时使用额外的编码器网络来推断每个样本对应的隐藏状态。

第三种架构名为Free Transformer,简化了这一过程。它直接在模型中间层注入随机状态,而非使用独立的全编码器。在训练过程中,编码器仍被使用一次,以帮助模型学会如何选取良好的隐藏状态,但它仅与网络的一部分协同工作。

在推理过程中,编码器被跳过,随机状态Z被直接采样。

这种设计使模型能够早期做出全局决策,帮助它在没有太多额外计算的情况下产生更一致和稳定的输出。

因此,一半模块充当共享编码器,其余模块则基于该潜在上下文进行解码。

在常规设置中,若使用随机隐藏状态,每次生成文本时都必须同时使用编码器和解码器。

这会使成本翻倍。

自由变换器避免了这一点。

它在训练过程中学习共享的内部结构,之后便丢弃编码器。

在推理时,它直接采样隐藏状态并仅运行解码器。

与标准模型相比,这种设计仅增加约3-4%的FLOPs计算开销,大幅降低了计算负担。

它采用经典的VAE目标进行训练:

交叉熵损失+编码器分布 Q(Z|S)与先验 P(Z)之间的KL散度惩罚项。

Meta使用自由比特阈值(κ)来防止崩溃,仅在散度>κ时添加KL损失。

这使得Z能够编码有用结构(如主题、情感或模式位置)而不会过拟合。

采用KL散度惩罚结合自由比特方法,防止隐状态记忆整个序列。

该架构在堆叠层中部注入隐状态:将学习得到的向量添加到键值中,随后正常继续解码过程。

每个token对应的隐状态从65536种可能性中选取,由16个独立比特构建而成。

关键突破在于——它保留了条件变分自编码器的优势(有助于模型更好地规划),同时消除了通常使其不切实际的额外成本。

这样你就能获得一个更稳定、具有全局感知能力的Transformer,而成本几乎与普通Transformer相同。

它仅在训练期间增加约 3%的计算量就能实现这一点。

普通解码器仅依据已生成的标记来选择下一个标记,这导致它们较晚才能推测全局选择。

FreeTransformer先采样一个微小的随机状态,然后让每个标记都基于该状态生成。

训练时,通过条件变分自编码器将解码器与编码器配对,使模型学会生成有用的隐状态。

结果非常好!

在推理过程中跳过编码器,由均匀采样器选择状态,生成过程正常进行。

这为模型提供了早期的全局决策,减少了在出现小规模标记错误后的脆弱行为。

Meta训练了1.5B和8B的模型。

在GSM8K、HumanEval+和 MMLU等重推理基准测试中的表现显著提升。

1.5B模型模型增益:

  • HumanEval+得分提升 44%

  • MBPP测试提升 35%

  • GSM8K数学题集提升 30%

计算开销仅增加3-4%即实现上述效果。

而且模型保持稳定,没有出现训练崩溃或异常波动。

自由变换器(The FreeTransformer)在架构中增加了一个随机的「隐藏思维层」。

它不只是预测,而是先决策后预测,这可能标志着后自回归时代的开端。

一句话总结,一个微小的编码器添加了有益的偏差,使推理和编码更加可靠。

会思考的Transformer,不再只是「鹦鹉学舌」。

这可能是一个重要节点,Transformer的思维方式被重塑,从「预测下一个词」迈向「思考如何表达」。

潜在变量Z到底学到了什么?

以下是论文给出的测试例子。

合成序列具有固定长度,包含一个由随机字母重复8次构成、位于随机位置的「目标」,以及由感叹号组成的独立同分布噪声,还有一个提示目标字母的提示语。

  • 每条样本以「字母+>」作为提示(如 K>)。

  • 主体是一行固定长度的下划线 _,在随机位置嵌入 8 个相同的大写字母组成的「target」(如KKKKKKKK)。

  • 另外以1/16的概率把任一字符替换成 !,形成独立同分布的噪声

下图则展示了Free Transformer 在该合成任务上、不同K时的生成行为与潜变量Z所承载的信息。

每个模型都给出两组方框:

  • 蓝色方框:每条序列都独立采样一个Z。

  • 绿色方框:整组序列共用同一个Z,便于看出Z是否「锁定」了某些全局属性。

随κ变大(信息从少到多)现象依次为:

  1. κ=log(2)/64(≈1/64 bit):几乎不从Z编码有用信息,表现像普通无潜变量的解码器;绿色与蓝色差异很小。

  2. κ=log(2)/8(≈1/8 bit):Z先学会只编码target的位置;绿色方框中target位置在多条样本里保持一致,但噪声 ! 仍随机。

  3. κ=log(2)(1 bit):Z进一步同时编码target位置与噪声模式;因此绿色方框的多条样本连 ! 的分布也很相似。

  4. κ=8·log(2)(8 bits):Z承载信息过多,几乎「把整条序列塞进 Z」——导致训练/生成退化(模型过度依赖 Z,输出反而不对)。

这张图用分组对比清楚地示范:允许更大的KL配额会让模型把更多「全局决策」搬到潜变量里;太少不够用,太多会塌陷。

FAIR实验室是真的搞研究

注意到,论文作者François Fleuret,来自Meta的FAIR实验室。

François Fleuret是一位机器学习领域的研究科学家与教育工作者。

他目前担任 Meta Fundamental AI Research(Meta FAIR)「核心学习与推理」(Core Learning & Reasoning)团队的研究科学家。

而众所周知的是,FAIR是Yann LeCun领导的。

今天一个重磅新闻就是,小扎的超级智能实验又裁员了600人。

Yann LeCun都逼的出来发声明了:

「我没有参与任何Llama项目,一直由其他团队负责,我主要是研究超越LLM的下一代人工智能。」

从这个自由Transformer来看,Yann LeCun所言不虚。

虽然他一直反对LLM技术本身,但是这些创新也是拓展AI的边界。

希望小扎能好好对待这位图灵奖大佬。

参考资料:

https://x.com/rryssf_/status/1980998684801401302

https://arxiv.org/abs/2510.17558

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
金敬道还能踢球!记者苗原:他可以继续搞足球

金敬道还能踢球!记者苗原:他可以继续搞足球

建哥说体育
2026-11-22 11:11:25
万项:目前我还是坚持留在国外,会拿出100%的努力去面对摩洛哥

万项:目前我还是坚持留在国外,会拿出100%的努力去面对摩洛哥

懂球帝
2026-11-22 04:52:29
英超弃将成意甲射手王!客场上演大四喜 连续8场参与进球

英超弃将成意甲射手王!客场上演大四喜 连续8场参与进球

球事百科吖
2026-11-22 06:12:57
世界最大驱逐舰,要开工了?

世界最大驱逐舰,要开工了?

晋说
2026-11-21 12:37:59
76人1日内3喜临门!詹姆斯连轰4大纪录又封神,这次保底总决赛?

76人1日内3喜临门!詹姆斯连轰4大纪录又封神,这次保底总决赛?

小路看球
2026-11-22 14:56:15
随着皇马2-1逆转,皇家贝蒂斯1-1,西甲最新积分榜出炉

随着皇马2-1逆转,皇家贝蒂斯1-1,西甲最新积分榜出炉

侧身凌空斩
2026-11-22 06:10:24
多家品牌宣布:下调金饰克价

多家品牌宣布:下调金饰克价

极目新闻
2026-11-21 19:27:16
全网群嘲的“妈妈有50w存款”事件,撕开了多少家庭最大的悲哀

全网群嘲的“妈妈有50w存款”事件,撕开了多少家庭最大的悲哀

凡知
2026-11-16 08:32:54
为什么巩晓彬再度成为中国篮坛的流量顶流?很多人装正经,他装不正经

为什么巩晓彬再度成为中国篮坛的流量顶流?很多人装正经,他装不正经

姜大叔侃球
2026-11-22 12:41:38
只知道领退休金就亏了!国务院文件明确企退人一共能享受这些待遇

只知道领退休金就亏了!国务院文件明确企退人一共能享受这些待遇

音乐时光的娱乐
2026-11-22 16:25:10
哈萨克斯坦也没想到,跟着中国混来混去,结果也混成了个“霸主”

哈萨克斯坦也没想到,跟着中国混来混去,结果也混成了个“霸主”

共工之锚
2026-11-17 00:29:44
F1拉斯维加斯大奖赛:维斯塔潘夺冠!拉塞尔失好局,法拉利叒内斗

F1拉斯维加斯大奖赛:维斯塔潘夺冠!拉塞尔失好局,法拉利叒内斗

天光破云来
2026-11-22 13:48:05
900万台!苹果3款旗舰发货量曝光,iPhone Duo降价1300元

900万台!苹果3款旗舰发货量曝光,iPhone Duo降价1300元

超维界数码
2026-11-22 16:28:51
女子30万块买二手帕拉梅拉,过户时工作人员:后备箱怎么焊了夹层

女子30万块买二手帕拉梅拉,过户时工作人员:后备箱怎么焊了夹层

悬案解密档案
2025-08-04 10:34:42
特朗普:信用卡公司“已经赚了很多钱”,愿与民主党合作,将信用卡利率上限设为10%;美银行业强烈反对

特朗普:信用卡公司“已经赚了很多钱”,愿与民主党合作,将信用卡利率上限设为10%;美银行业强烈反对

大风新闻
2026-11-22 09:03:07
沪媒不忍了!点名拉塞尔不适合上海战术体系,卢伟表态,拉塞尔发声

沪媒不忍了!点名拉塞尔不适合上海战术体系,卢伟表态,拉塞尔发声

萌兰聊个球
2026-11-22 10:51:49
《GTA 6》首日狂揽37.9亿美元,超越《复联4》总票房

《GTA 6》首日狂揽37.9亿美元,超越《复联4》总票房

自愈小日子
2026-11-21 04:07:16
宁波一司机开车途中手机没电,伸手去拿手机准备连接充电器,方向盘突然失控车子瞬间冲上花坛

宁波一司机开车途中手机没电,伸手去拿手机准备连接充电器,方向盘突然失控车子瞬间冲上花坛

环球网资讯
2026-11-22 15:01:09
46岁方力申官宣二胎得子凑好字,妻子一年抱俩引争议,过往太戳人

46岁方力申官宣二胎得子凑好字,妻子一年抱俩引争议,过往太戳人

洲洲影视娱评
2026-11-22 10:20:20
不要面皮!市价5.3万RTX 5090送修被强行报废:只退原价1.8万

不要面皮!市价5.3万RTX 5090送修被强行报废:只退原价1.8万

快科技
2026-11-21 08:31:22
2026-11-22 17:48:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16742文章数 67254关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

教育
房产
本地
旅游
数码

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

旅游要闻

喀什旅游的游客因清廷中唯一的维吾尔族妃子的故事而奔赴这里参观

数码要闻

内存价格暴涨下,华硕考虑将中低端PC内存由16GB降至8GB

无障碍浏览 进入关怀版