网易首页 > 网易号 > 正文 申请入驻

Transformer危!谷歌MoR架构发布:内存减半推理速度还翻倍

0
分享至

鹭羽 发自 凹非寺
量子位 | 公众号 QbitAI

超越Transformer,谷歌推出全新底层架构——

Mixture-of-Recursions(MoR),注意不是MoE,它能推理速度提高2倍,而KV内存直接减半!

而且All in One,首次在单一框架中实现,用同一组参数处理不同任务的同时,进行动态分配计算资源。

就像给LLM开了个双层增强buff,模型性能和效率全都要。

谷歌DeepMind联合KAIST AI、Mila人团队通过统一参数共享、自适应递归深度和高效KV缓存,在保持大模型性能的同时降低计算和内存成本,形成新的效率最优解。

不少网友甚至将它形容为Transformer Killer。

更有甚者表示,该架构的出现或许能代表,潜在空间推理也许将会成为下一个LLM突破所在。

具体MoR创新在哪些方面?下面一一详解。

MoR:首次统一参数共享与自适应计算

Transformer的出现虽然带来了优秀的少样本泛化和推理能力,但随之而来庞大的计算和内存需求还是让训练和部署成为难题。

目前相关优化方法主要是参数共享和自适应计算,但往往只能二选一,无法同时兼顾。

于是研究人员提出了递归混合模型MoR,可以在单一递归Transformer中同时融合两个效率维度。

首先采用的递归Transformer,相比通过多个独特层构建token的标准Transformer,其直接将模型划分为递归块,复用一组共享参数池。

主要包含三种参数共享策略:

  1. Cycle:循环复用层。
  2. Sequence:连续复用同一层。
  3. Middle变体:保留首尾层独特参数,仅共享中间层。

利用参数共享,可以减少独特参数数量,提升分布式训练效率,并通过连续深度批处理消除计算 “气泡”,提高推理吞吐量。

然后MoR采用动态路由机制,通过轻量级路由器为每个token分配不同递归深度,并集中计算在复杂token上,可以分为两种:

  • Expert-choice路由:将每个递归步骤视作 “专家”,基于隐藏状态计算分数,通过阈值选择合适的token继续计算,采用层级过滤,优先为复杂token分配计算。
  • Token-choice路由:初始阶段为每个token分配固定递归深度,通过softmax/sigmoid确定专家,然后token按分配深度依次完成递归。

另外,MoR本身还借助KV缓存策略,管理键值的存储与使用,同时确保内存效率的提升:

  • Recursion-wise缓存:仅缓存当前递归步骤中活跃token的KV对,将注意力计算限制在本地缓存,降低内存和IO需求。
  • Recursive KV共享:复用首次递归的KV对供后续步骤使用,确保所有token可访问历史上下文,减少预填充操作,而此时注意力计算量下降幅度较小。

在三种策略共同作用下,MoR通过在解码每个token时直接进行潜在思考,路由机制让模型能进行自适应推理,突破了先前固定思考深度的限制,实现了参数效率与自适应计算的统一。

性能超越Transformer

研究人员在135M到1.7B不同参数规模的模型上,就原始Transformer、递归基线模型和MoR进行对比实验。

实验表明,在相同的16.5e18 FLOPs的训练预算下,MoR使用了将近50%的更少参数,但实现了更低的验证损失和更高的平均少样本准确率43.1%。

而vanilla模型的少样本准确率此时是42.3%,说明MoR拥有更高的计算效率,可以在相同FLOPs预算下处理更多训练token。

在训练固定的20B token时,MoR也减少了25%的训练FLOPs,训练时间还缩短了19%,峰值内存减少25%。

另外,通过分析路由策略,发现Expert-choice路由的性能会在一定程度上优于Token-choice路由,说明路由粒度会对性能产生重要影响。

研究人员还对MoR进行了IsoFLOP分析,发现在135M、360M、730M和1.7B参数规模,以及2e18、5e18、16.5e18的FLOPs预算下,MoR始终优于递归基线模型。

虽然受递归容量瓶颈限制,在135M时略逊于vanilla模型,但在360M及规模的进一步扩大,MoR性能接近甚至超过Vanilla模型,且参数仅为后者的1/3,验证了MoR的可扩展性。

在推理吞吐量评估上,360M规模的MoR模型在固定批大小和最大批大小设置下,均优于vanilla。

递归深度的增加让更多token提前退出,KV缓存占用减少,吞吐量显著提升,验证了深度批处理与早期退出结合对部署效率的提升。

谷歌对底层架构的再思考

这已经不是谷歌第一次对底层架构进行重新思考,甚至可以说,谷歌始终希望利用架构创新重构计算范式,重新寻找AI新的平衡。

例如混合专家模型(MoE)正是这一理念的集中体现。

最早是在2017年,谷歌首次将MoE引入LSTM层,通过稀疏门控机制,仅激活部分专家网络从事输入处理,但仍能让参数量高达137B的模型保持高效训练。

后面推出的GShard将MoE与Transformer结合,可实现动态负载均衡,2021年的Switch Transformer又进一步地简化了路由机制。

而Gemini 1.5 Pro就是采用的分层MoE架构,将专家网络与多模态处理深度结合,可以处理更为复杂的多模态任务,训练和服务效率也得到显著提升。

MoE的底层逻辑设计突破了传统全连接模型的计算缺陷,现在已经成为了许多超大规模模型的优先选择,为应对算力瓶颈提供了新范式。

另外还有像TokenFormer等可扩展架构,将模型参数视为可学习的token,通过增量训练无缝扩展模型规模,为未来千亿级模型的低成本迭代提供了可能。

所以有网友认为,关于谷歌如今推出的MoR,会在未来彻底改变AI世界规则,会超越Transformer吗?一切交给时间验证。

参考链接:
[1]https://x.com/deedydas/status/1945313404958466519
[2]https://www.alphaxiv.org/abs/2507.10524
[3]https://x.com/reza_byt/status/1945498424536862841
[4]https://arxiv.org/abs/1701.06538

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
1971年陈洁如在香港寓所突然离世,养女蒋瑶光赶赴香港继承大笔遗产,丈夫陆久之小聚过后执意只身返回上海

1971年陈洁如在香港寓所突然离世,养女蒋瑶光赶赴香港继承大笔遗产,丈夫陆久之小聚过后执意只身返回上海

唠叨说历史
2026-11-17 18:07:45
《大西洋月刊》丨抱歉,罗伯特·帕丁森不是007

《大西洋月刊》丨抱歉,罗伯特·帕丁森不是007

邸报
2026-11-17 09:43:32
《持械入宋》十一季之后,我有一些心慌,十二季还能播出吗?

《持械入宋》十一季之后,我有一些心慌,十二季还能播出吗?

姜糖先生
2026-11-17 20:18:42
无底线了!内塔尼亚胡之子被伊朗特工暗杀,弃行李连夜逃回以色列

无底线了!内塔尼亚胡之子被伊朗特工暗杀,弃行李连夜逃回以色列

梦史
2026-08-29 06:21:20
郑丽文:绝不放弃武力保台!洪秀柱当场戳破:两岸统一才是和平根

郑丽文:绝不放弃武力保台!洪秀柱当场戳破:两岸统一才是和平根

林子说事
2026-11-17 17:30:36
普京今日飞抵深圳!中方定名中俄美,波兰不服:让欧盟替代俄参会

普京今日飞抵深圳!中方定名中俄美,波兰不服:让欧盟替代俄参会

国际法大视野
2026-11-17 18:58:03
我儿子今年35岁,每月收入6800,在我死乞白赖的逼迫下,他结婚了,可我现在却后悔了,不该劝他结婚

我儿子今年35岁,每月收入6800,在我死乞白赖的逼迫下,他结婚了,可我现在却后悔了,不该劝他结婚

蝉吟槐蕊
2026-11-17 16:30:32
明年开始,若房价继续下跌,中国50%的家庭或要面临3个问题

明年开始,若房价继续下跌,中国50%的家庭或要面临3个问题

云霄纪史观
2026-11-17 04:14:58
双预警齐发,中央气象台:今晚到明晚,吉林、黑龙江有中雪,山东、河北、重庆、四川、湖北、湖南、浙江等地有小到中雨,广东局地大雨

双预警齐发,中央气象台:今晚到明晚,吉林、黑龙江有中雪,山东、河北、重庆、四川、湖北、湖南、浙江等地有小到中雨,广东局地大雨

吉刻新闻
2026-11-17 08:16:36
还记得你和异性做过最疯狂的事吗?网友:我差不多就是这样和同事发生了

还记得你和异性做过最疯狂的事吗?网友:我差不多就是这样和同事发生了

带你感受人间冷暖
2026-11-14 15:59:30
巴西7-0横扫新加坡!1.3亿欧巨星12分钟戴帽 虐菜上头:不满被换下

巴西7-0横扫新加坡!1.3亿欧巨星12分钟戴帽 虐菜上头:不满被换下

风过乡
2026-11-17 20:15:41
冷空气明天“到货”,广州或明显降温

冷空气明天“到货”,广州或明显降温

新快报新闻
2026-11-17 08:36:05
越来越多中年人,开始“混社保”!

越来越多中年人,开始“混社保”!

职场资深秘书
2026-11-17 17:15:57
商务部新闻发言人就中加经贸磋商成果答记者问

商务部新闻发言人就中加经贸磋商成果答记者问

界面新闻
2026-11-17 19:27:26
国际峰会闹大笑话,澳总理和部长聊“命根子”,视频流出火遍网络

国际峰会闹大笑话,澳总理和部长聊“命根子”,视频流出火遍网络

丁隗解说
2026-11-16 15:59:21
血赚!巴萨 5000 万水货彻底现形!弗里克躲过大坑

血赚!巴萨 5000 万水货彻底现形!弗里克躲过大坑

澜归序
2026-11-17 09:57:35
与李晨分手6年后嫁普通人,看似是“低嫁”却活成了真正人生赢家

与李晨分手6年后嫁普通人,看似是“低嫁”却活成了真正人生赢家

星星没有你亮
2026-11-16 23:44:05
吃降压药的最佳时间公布!医生忠告:吃错了时间,效果相差很大

吃降压药的最佳时间公布!医生忠告:吃错了时间,效果相差很大

鬼菜生活
2026-11-17 01:33:17
A股迎来至暗时刻!新低之后支撑在哪里?何时才能企稳反弹?

A股迎来至暗时刻!新低之后支撑在哪里?何时才能企稳反弹?

小白鸽财经
2026-11-17 10:28:13
24岁女演员嫁大24岁政委苏振华,苏去世后继子说:我们只听陆阿姨的!

24岁女演员嫁大24岁政委苏振华,苏去世后继子说:我们只听陆阿姨的!

大运河时空
2026-11-16 20:45:05
2026-11-17 20:56:49
量子位 incentive-icons
量子位
追踪人工智能动态
13689文章数 176601关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

数码
时尚
艺术
游戏
本地

数码要闻

满电开躁!11月16日,航嘉满电青年计划约你西南交大见!

自骂“烂人”的黄仁勋,冤不冤?

艺术要闻

漫天香氛,秋风醉人~杭州的秋天从不让人失望!13个地方,秒出大片!

小伙表示连玩7天《GTA6》 这下PS5可惨了

本地新闻

乌兰察布:以前种土豆,现在种Token

无障碍浏览 进入关怀版