网易首页 > 网易号 > 正文 申请入驻

36层模型跑出96层计算量,多循环几次账单会怎样?

0
分享至

一个36层的模型,每个token却跑了96层。权重一个没改。这就是循环Transformer(looped transformer)干的事,也意味着你部署的模型很快会多出一个新旋钮——不是温度,不是最大token数,而是循环次数。


英伟达的Dory已经带上了这个旋钮。它是一个4B模型,中间那组层可以在每个token上跑不止一次;作者报告,在两次及以上循环时,它在十二项基准上的平均成绩好于若干更大的模型。这是个漂亮的标题,也是一场容量规划讨论的开端。

标准堆栈与循环堆栈

标准Transformer是固定堆栈。36层就是每个token过36层,每层有自己的权重,每层只用一次。循环Transformer(也叫循环深度)则保留部分共享层,让它们反复运行。Dory的布局是8层输入、20层循环核心、8层输出:

  • 1次循环:存储36层,执行36层
  • 2次循环:存储36层,执行56层
  • 3次循环:存储36层,执行76层
  • 4次循环:存储36层,执行96层

每一次经过,权重完全相同。变化的是隐藏状态,也就是流经核心的激活值。推理过程中不学习任何东西,也不会有任何东西带到下一个请求里。

由此得到第一条经验法则:参数量现在告诉你模型存了什么,而不是它算了什么。GPU买单的是执行了多少层。

上生产后会变什么

把旋钮从1拧到4,影响大致可以这样排:KV缓存方面,如果你的服务栈按每次循环各存一份缓存,内存会随循环数增长;Dory表明这并非必然,在定容量之前先确认你的运行时到底怎么做的。生成token变少方面,"生成token少1.3到2.5倍"很容易被读成"更便宜",但它不自动成立——模型可以写得更少,同时每个token做更多功。要测整个请求。

拧大旋钮前该问的问题

循环增加的是计算,不是信息。拿两个事实举例:Alice比Bob先完成,Bob比Cara先完成。问谁最先完成,多跑几遍有帮助,因为答案已经在输入里,只差组装。问Alice的完成时间,跑多少遍都没用,这个事实不在里面,得靠检索调用或工具。

这就是"Alice测试":答案是否已经在模型掌握的东西里。动旋钮之前先跑一遍,然后给失败分类:

  • 事实都有,多步推理出错 → 加循环(或加推理预算)是合理的测试
  • 事实不在提示词也不在权重里 → 检索或工具调用
  • 算术或精确字符串出错 → 计算器或代码工具
  • 答对了但慢 → 减少循环
  • 想得越久越差 → 更早停

最后一条不是假设。Fastino报告,第三次循环在他们的模型上损害了因果推理基准的表现。更多循环可能改善答案、趋于平缓,也可能让它变差。计算量只会朝一个方向走。

一个小型评测框架

如果拿到循环检查点,测试的形状是这样:同样的提示词、同样的采样、同样的工具权限,只改循环次数。对1到4次循环分别跑评测集,记录通过与否、延迟、输出token数,然后看通过率与p50/p95延迟随循环数的变化,按任务类型拆分。

看边际回报。如果1到2次循环有帮助、2到4次增加很少,2就是你的默认值。按任务类型拆开看,因为平均值会掩盖某一类任务变差的情况。最后在你没有调参过的例子上确认。

这件事的位置

循环Transformer不是魔法,也不是炒作。它是一笔交易:更小的文件、更深的计算、真实的延迟。相关论文都还早(2025年的Huginn,以及Dory、GLiDE和今年11月一篇名为RLT的稳定性预印本),上面每个数字都是作者针对特定设置报告的。

现在值得养成的习惯,是对每张模型卡问两个问题:它存了多少层,它跑了多少层?

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
威尔逊:成为伟大冠军需要让人有点讨厌,面对赵心童时我只想重创他

威尔逊:成为伟大冠军需要让人有点讨厌,面对赵心童时我只想重创他

世界体坛观察家
2026-11-16 17:08:49
山姆20元一包"泡面"上热搜:你气的不是贵,是它不叫泡面

山姆20元一包"泡面"上热搜:你气的不是贵,是它不叫泡面

食评社
2026-11-12 09:44:59
一旦恢复该规定,中国结婚率或将大幅上涨,离婚率也会有所下降

一旦恢复该规定,中国结婚率或将大幅上涨,离婚率也会有所下降

福建睿平
2026-10-28 07:23:25
63位“最懂长寿”的专家一致选出:决定长寿的3件关键事,居然这么简单

63位“最懂长寿”的专家一致选出:决定长寿的3件关键事,居然这么简单

环球网资讯
2026-11-14 07:45:05
有性生活和没性生活,区别竟然这么大!第一条就扎心了!

有性生活和没性生活,区别竟然这么大!第一条就扎心了!

医学原创故事会
2026-11-05 23:50:03
美专家:中国已经提前准备好,开战后的第一件事,先废掉美国空军

美专家:中国已经提前准备好,开战后的第一件事,先废掉美国空军

真的好爱你
2026-11-16 13:37:42
内讧?贝林怒斥皇马队友欧国联假摔!试图将其拽起+狂喷:别演戏了

内讧?贝林怒斥皇马队友欧国联假摔!试图将其拽起+狂喷:别演戏了

我爱英超
2026-11-16 10:05:25
世界经济奇观:腾飞的伊拉克,20年gdp增长1200%,民主的力量!

世界经济奇观:腾飞的伊拉克,20年gdp增长1200%,民主的力量!

触摸史迹
2026-11-13 17:17:41
便秘救星来了!早上蒸一碗,半小时立马跑厕所,大肚子瞬间变平坦

便秘救星来了!早上蒸一碗,半小时立马跑厕所,大肚子瞬间变平坦

王二哥老搞笑
2026-11-16 18:41:26
《天下足球》7分钟致敬C罗!令人动容,球迷:为何无梅西的专题?

《天下足球》7分钟致敬C罗!令人动容,球迷:为何无梅西的专题?

汪星人哟
2026-11-16 20:38:45
判得漂亮!重庆83岁老人确诊宫颈癌晚期,在疼痛科住院期间,趁女儿和儿子换班的十几分钟,偷偷从卫生间窗户跳下身亡。

判得漂亮!重庆83岁老人确诊宫颈癌晚期,在疼痛科住院期间,趁女儿和儿子换班的十几分钟,偷偷从卫生间窗户跳下身亡。

回京历史梦
2026-11-13 10:27:27
斯托伊科维奇正式出任山东泰山主帅,克雷桑瞄准金靴,黄政宇迎爆发契机,中场大核急需补强,李源一或转会辽宁铁人

斯托伊科维奇正式出任山东泰山主帅,克雷桑瞄准金靴,黄政宇迎爆发契机,中场大核急需补强,李源一或转会辽宁铁人

老周观体育
2026-11-16 21:02:21
美国股指期货跌幅扩大 纳斯达克100指数期货跌超1.5%

美国股指期货跌幅扩大 纳斯达克100指数期货跌超1.5%

每日经济新闻
2026-11-16 20:28:04
兵败如山倒!国产新能源或已证明:中国其实不需要二线豪华品牌

兵败如山倒!国产新能源或已证明:中国其实不需要二线豪华品牌

铭记历史呀
2026-09-20 16:15:46
难以置信!刘德华公开承认差不多一年没戏拍了,直言“为了生活”明年将主攻演唱会

难以置信!刘德华公开承认差不多一年没戏拍了,直言“为了生活”明年将主攻演唱会

火山詩话
2026-11-16 04:59:33
11月16日俄乌:最大规模的乌克兰无人机袭击

11月16日俄乌:最大规模的乌克兰无人机袭击

山河路口
2026-11-16 20:32:41
35页PPT疯传:洛阳女子1女谈3男,每天卡时间,都已谈婚论嫁

35页PPT疯传:洛阳女子1女谈3男,每天卡时间,都已谈婚论嫁

烈史
2026-05-30 13:23:41
葡媒怒批葡萄牙足协:致敬C罗的方式像是葬礼

葡媒怒批葡萄牙足协:致敬C罗的方式像是葬礼

懂球帝
2026-11-16 18:54:29
岛内官宣!赖清德硬推这人来深圳参加APEC,国台办直接画下红线

岛内官宣!赖清德硬推这人来深圳参加APEC,国台办直接画下红线

天气观察站
2026-11-16 04:16:43
英伟达这一仗打完,美方至少50年内都无法在芯片上锁死中国。

英伟达这一仗打完,美方至少50年内都无法在芯片上锁死中国。

回京历史梦
2026-11-14 09:08:15
2026-11-16 22:23:00
硅屿手记
硅屿手记
有态度网友ytd
243文章数 86关注度
往期回顾 全部

科技要闻

历史头一回!马斯克用"筷子"夹住太空飞船

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

体育要闻

NBA开赛最大惊喜,是他们?

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

艺术
教育
时尚
本地
旅游

艺术要闻

漫天香氛,秋风醉人~杭州的秋天从不让人失望!13个地方,秒出大片!

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

“小棕裙”今年冬天爆火,这样穿时髦又松弛!

本地新闻

乌兰察布:以前种土豆,现在种Token

旅游要闻

秋假遛娃剑门关,全程17000步,6个小时,喜提废腿体验!

无障碍浏览 进入关怀版