一个36层的模型,每个token却跑了96层。权重一个没改。这就是循环Transformer(looped transformer)干的事,也意味着你部署的模型很快会多出一个新旋钮——不是温度,不是最大token数,而是循环次数。
![]()
英伟达的Dory已经带上了这个旋钮。它是一个4B模型,中间那组层可以在每个token上跑不止一次;作者报告,在两次及以上循环时,它在十二项基准上的平均成绩好于若干更大的模型。这是个漂亮的标题,也是一场容量规划讨论的开端。
标准堆栈与循环堆栈
标准Transformer是固定堆栈。36层就是每个token过36层,每层有自己的权重,每层只用一次。循环Transformer(也叫循环深度)则保留部分共享层,让它们反复运行。Dory的布局是8层输入、20层循环核心、8层输出:
- 1次循环:存储36层,执行36层
- 2次循环:存储36层,执行56层
- 3次循环:存储36层,执行76层
- 4次循环:存储36层,执行96层
每一次经过,权重完全相同。变化的是隐藏状态,也就是流经核心的激活值。推理过程中不学习任何东西,也不会有任何东西带到下一个请求里。
由此得到第一条经验法则:参数量现在告诉你模型存了什么,而不是它算了什么。GPU买单的是执行了多少层。
上生产后会变什么
把旋钮从1拧到4,影响大致可以这样排:KV缓存方面,如果你的服务栈按每次循环各存一份缓存,内存会随循环数增长;Dory表明这并非必然,在定容量之前先确认你的运行时到底怎么做的。生成token变少方面,"生成token少1.3到2.5倍"很容易被读成"更便宜",但它不自动成立——模型可以写得更少,同时每个token做更多功。要测整个请求。
拧大旋钮前该问的问题
循环增加的是计算,不是信息。拿两个事实举例:Alice比Bob先完成,Bob比Cara先完成。问谁最先完成,多跑几遍有帮助,因为答案已经在输入里,只差组装。问Alice的完成时间,跑多少遍都没用,这个事实不在里面,得靠检索调用或工具。
这就是"Alice测试":答案是否已经在模型掌握的东西里。动旋钮之前先跑一遍,然后给失败分类:
- 事实都有,多步推理出错 → 加循环(或加推理预算)是合理的测试
- 事实不在提示词也不在权重里 → 检索或工具调用
- 算术或精确字符串出错 → 计算器或代码工具
- 答对了但慢 → 减少循环
- 想得越久越差 → 更早停
最后一条不是假设。Fastino报告,第三次循环在他们的模型上损害了因果推理基准的表现。更多循环可能改善答案、趋于平缓,也可能让它变差。计算量只会朝一个方向走。
一个小型评测框架
如果拿到循环检查点,测试的形状是这样:同样的提示词、同样的采样、同样的工具权限,只改循环次数。对1到4次循环分别跑评测集,记录通过与否、延迟、输出token数,然后看通过率与p50/p95延迟随循环数的变化,按任务类型拆分。
看边际回报。如果1到2次循环有帮助、2到4次增加很少,2就是你的默认值。按任务类型拆开看,因为平均值会掩盖某一类任务变差的情况。最后在你没有调参过的例子上确认。
这件事的位置
循环Transformer不是魔法,也不是炒作。它是一笔交易:更小的文件、更深的计算、真实的延迟。相关论文都还早(2025年的Huginn,以及Dory、GLiDE和今年11月一篇名为RLT的稳定性预印本),上面每个数字都是作者针对特定设置报告的。
现在值得养成的习惯,是对每张模型卡问两个问题:它存了多少层,它跑了多少层?
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.