网易首页 > 网易号 > 正文 申请入驻

让决策模型学会「难题多想」:Lev用循环代替思维链,一份权重覆盖多个深度

0
分享至



本文作者来自 Lehigh University、University of British Columbia 与 Vector Institute。共同第一作者为 Lehigh University 博士生宋定杰(Dingjie Song)与 Zhiling Yan,通讯作者为 Lehigh University 助理教授 Lichao Sun。

让大模型「多想一会儿」,今天几乎等同于让它多写一些字:先生成一段思维链,再给出答案。

但在很多实际系统里,模型要做的只是一个选择:这条请求交给哪个工具,这段文本属于哪一类,几个候选动作里选哪一个。Jev、Kev 这类「决策模型」就是为此设计的。它们读入问题和候选项,一次前向计算就给出每个选项的概率,几十毫秒返回,不生成任何文本。

决策模型快,但计算量在训练时就定死了。简单题和难题花同样多的计算,遇到难题也没法多想一会儿。另一条路是让模型先写推理再作答,可这样每个问题都要为推理文本付费,简单题也不例外。

与此同时,循环 Transformer 最近再度成为业界关注的热点。以字节 Seed 的 Ouro 为代表的原生循环语言模型,在预训练阶段就让同一组层反复计算,把「多想」放进了隐藏状态里。

能不能让决策模型也这样「多转几圈」?

近日,来自 Lehigh University 等机构的研究者提出Lev,一个用循环而不是 token 来加深思考的决策模型。Lev 在每一圈之后都读出一次选项概率,各圈联合训练,所以同一份权重可以在任意深度作答;一个轻量的停止器再按题目决定算几圈。作者把这种计算方式称为System 1.5:保留 System 1 直接给出决定的接口,又能像 System 2 一样在难题上多花计算。



Lev 逐圈作答(按项目主页记录的逐圈读数重绘,回放实验数据,不是实时推理):例 1 第 1 圈就选中正确答案 B,停止器判定可以停下;例 2 第 1 圈选 4,到第 4 圈改选正确答案 6。

从任务形态看,Lev 可以视为 OpenAI Decisions 式文本决策的一个独立开源实现,并多了一个「深度旋钮」。这里的「式」只指任务形态:给定输入和候选项,输出每个选项的概率。Lev 基于公开的 Ouro、Nanbeige 底座和 Kev 实现,不复刻 OpenAI 的模型权重、内部架构或 API,也没有与其产品做性能对测。

在公开 JevBench 的 231 道题上,同一个 Lev-2.6B checkpoint 从一圈的 63.2% 提升到四圈的 76.2%,增加 13.0 个百分点,权重没换,变的只是循环深度。



论文图 1:(a) 按需深度下 Lev-2.6B 在 JevBench 各难度档上用的圈数;(b) LevBench 锁定测试上的准确率与延迟;(c) Lev-2.6B 在标准题和难题上一圈、按需、四圈的准确率,对照为同数据训练的 Qwen3.5-4B。

  • 论文标题:Lev: Thinking Fast and Deep with Looped Decision Models
  • 论文链接:https://arxiv.org/abs/2610.20951
  • 代码:https://github.com/OpenLAIR/lev
  • 模型与数据:https://huggingface.co/collections/songdj/lev
  • 项目主页:https://openlair.github.io/lev/

为什么决策模型需要「按需加深」?

作者先拿两个公开的决策模型 Kev-0.8B 和 Kev-4B 做了一次逐题对比。两者用同样的数据源训练,在 JevBench 的 231 道公开题上,Kev-4B 比 Kev-0.8B 多答对 28 道,而这 28 道全部来自标准题和难题:简单题两个模型本来就全答对了。

更关键的是,两个模型只在 42 道题上结果不同,可 Kev-4B 在每一道题上都多花了参数和计算。如果用 Kev-0.8B 的置信度挑出它最没把握的一半题目交给 Kev-4B,准确率就几乎追平 Kev-4B 全量作答。

换句话说,额外计算只在少数题上有用,而一次便宜的初读就能找到这些题。

那么现有的加计算方式够用吗?作者逐一检查了三种:

  • 级联:把没把握的题交给大模型。但 Kev-0.8B 的中位延迟已经是 79 ms,Kev-4B 是 108 ms,被转交的题要从头再读一遍,总耗时超过直接用大模型,还要多部署一个模型。
  • 生成推理文本:在同一个 26B 底座的两个开源 Jev 式服务上,打开思考能让难题准确率提高 9 到 13 个点,但难题的中位耗时变成原来的三到四倍,而且简单题也要为推理文本付费。
  • 给预训练模型「加装」循环:作者在 Kev-0.8B 的底座 Qwen3.5-0.8B 上,把中间 8 层接成带门控的循环,再按 Kev 的配方训练。结果准确率变化不到半个点;调大门控学习率、多转一圈、加宽循环块都无济于事,门控始终接近零,循环相当于没有打开。



论文图 2:(a) Kev-0.8B 与 Kev-4B 在 JevBench 每道题上的结果;(b) Kev-4B 回答随机一半、最没把握一半或全部题目时相对 Kev-0.8B 的提升;(c) 同一底座上单次读出与生成推理的对比;(d) 给 Qwen3.5-0.8B 加装循环后的准确率变化。

后一点直接决定了 Lev 的设计:与其在决策训练里教模型使用循环,不如从一个预训练时就学会循环的底座出发。

Lev 怎么做:每一圈都能读出答案

Lev 沿用 Kev 的决策模型接口。一个请求包含一段状态(例如一段对话或一份文档)和若干问题,每个问题列出自己的候选项。所有内容打包成一条序列,用块因果掩码让每个问题只看到状态和自己,这样状态只编码一次,每个问题又像单独提问一样作答。





论文图 3:Lev 的结构(以 4 圈为例)。(a) 同一组解码层循环 R 次,共享的 pointer head 每圈读一次选项;(b) 每圈之后,停止器预测当前答案是否已与最深一圈一致;(c) 每个问题在自己的深度退出,状态只算到其中最深的问题所需的深度。

训练时,pointer head 和 LoRA 适配器在各圈之间共享,损失对所有圈取平均,所以每一个深度都被训练成一个可用的决策模型,而不只是最后一圈。

这带来两个直接好处。第一,第 t 圈只依赖前面的圈,用 k 圈服务时只算前 k 圈,成本约为全深度的 k/R。第二,「再算一圈」就是从上一圈的隐藏状态继续往下算,请求不需要重新读一遍,这正是级联做不到的。

此外,浅层和深层读出的校准程度不同,作者为每个深度单独拟合一个温度。温度缩放不改变预测选项,所以不影响准确率。

什么时候该停?

预测「和最深一圈一致」

而不是「答对」

有了每一圈的读出,下一个问题是:每道题算几圈?

常见的早退做法,是在有标签数据上为置信度挑一个阈值,置信度够高就停。作者发现,这条规则在决策模型上迁移得很差,原因有两个:

  • 浅层读出在新数据上过度自信。Lev-2.6B 在一圈就停下的题目,在校准集上 94.8% 是对的,换到新数据源 Kev-Transfer 上只有 78.9%,而置信度几乎一样。
  • 置信度看不见「再算一圈就能改对」的错误。置信度区分对错的 AUROC 为 0.67 到 0.83,但区分「多算几圈能修好的错」与其他题目时只有 0.46 到 0.61,接近随机。

因此,Lev 的停止器换了一个预测目标:在第 k 圈,预测当前答案是否已经和最深一圈的答案一致。它是每个深度一个逻辑回归,特征只来自当前圈和上一圈的读出:最高概率、前两名的差距、归一化熵、答案是否变化、两圈分布的 KL 散度等。

这个目标的好处是,标准答案就是模型自己的最深答案,拟合停止器和挑选阈值都不需要人工标签。阈值取能让至少 98% 的最终答案与最深答案一致的最小值。部署时,可以直接用自己业务里的无标签请求来校准停止器。当然,无标签不等于零成本,拿到各圈的输出仍然要算一遍。

实验:一份权重,多个工作点

作者在三个循环底座上构建了 Lev-1.4B(Ouro-1.4B,4 圈)、Lev-2.6B(Ouro-2.6B,4 圈)和 Lev-3B(Nanbeige4.2-3B,2 圈)。Nanbeige 预训练时只在最后一圈有损失,用来检验 Lev 是否依赖预训练中被监督过的中间圈。

对照组是 Qwen3-1.7B、Qwen3.5-2B 和 Qwen3.5-4B 三个非循环(dense)模型,与 Lev 使用同样的 31,329 条训练数据和同样的配方(LoRA rank 16,训练一轮)。训练标签都不来自 Jev,所以 Lev 不是从被比较的模型蒸馏而来。

评测方面,作者先在三个调优集上定下配方和停止器设计,之后才读取两个 held-out 测试集:一个是覆盖五个应用领域、14 个从未训练过的数据集的 Kev-Breadth;另一个是作者自建的 LevBench,在任何模型读取之前就已冻结,难度档从训练源的新题一路走到完全没见过的数据集。此外还报告 JevBench 的 231 道公开题。

发现 1:同一份权重,深度越深越准,收益递减。



三个底座、所有测试集上都观察到这一趋势。JevBench 上一圈到四圈的提升为 13.0 个百分点(95% 置信区间 7.4 到 19.0)。大部分收益来自第一个额外的圈:Lev-2.6B 的 held-out 平均从 51.3% 升到 62.0%,第四圈最多再加 1 个点。

离训练数据越远,深度的作用越大:在训练数据源上,一圈到四圈约提升 7 个点;在其余四个离训练数据更远的测试集上,提升为 9.0 到 19.5 个点。

发现 2:多出来的计算主要花在难题上。

在 JevBench 上,Lev-2.6B 从一圈到四圈,在 72 道标准题上净多答对 10 道,在 111 道难题上净多答对 19 道;简单题在每个深度都接近全对。难题里有 29 道被改对、10 道被改错,多数修改是纠错。



论文图 5:深度在哪里起作用。(a) JevBench 标准题和难题上的准确率;(b) LevBench 上相邻两圈之间被修改的题目;(c) Kev-Breadth 各应用领域从一圈到四圈的提升;(d) LevBench 各难度档的准确率与按需深度的成本。

深度并不只会改对。在 LevBench 上,第一个额外的圈改对了 20.4% 的题,也改错了 8.6%。还有 12.6% 的题,某个较浅的圈答对了,最深一圈却答错了,以「与最深一圈一致」为目标的停止器救不回这些题。不同任务受益也不同:在 Kev-Breadth 上,深度让语言理解类任务提高 19.0 个点,在幽默和颜色偏好这两个「品味」类任务上则没有收益。作者推测,额外的圈提供了组合多个事实所需的串行计算,而品味判断用不上这类计算。

发现 3:按需深度少算 15% 到 24%,准确率损失不到 1 个点。

在两个 held-out 测试集上,停止器只用了最深一圈 76% 到 85% 的计算,准确率与最深一圈相差不到 1 个点(0.3 到 0.8 个点)。



论文图 6:准确率与计算成本。灰色为各固定深度及其连线(固定深度前沿),蓝线为移动停止器阈值得到的曲线;虚线和星号为锁定测试上的结果。

停止器完全看不到题目难度,却会自动把更多圈花在难题上:在 JevBench 上,按需的 Lev-2.6B 在简单、标准、难题上平均分别用 1.2、2.4、3.0 圈。

作者也如实报告了这项收益的边界。与「同等成本下混合使用固定深度」相比,按需深度的优势不大:Lev-2.6B 在 held-out 上只高 0.2 个点,Lev-3B 高 1.0 个点。原因在于 Ouro 模型的前沿本身是凹的,第一个额外的圈就拿走了大部分收益。在锁定测试上(配方和停止器全部定下后只读一次),按需深度相对最深一圈最多损失 1.0 个点,Lev-1.4B 和 Lev-3B 高于固定深度前沿,Lev-2.6B 与前沿持平。

需要说明的是,这里的「少算」是离线统计的环路计算量。要把它变成线上的吞吐或延迟收益,还需要服务端支持不同深度请求的打包和调度,这部分不在本文范围内。

发现 4:关键不在停止器的特征,而在用目标流量校准。



论文图 8:各停止规则在相同成本下相对固定深度前沿的准确率差(95% 置信区间)。灰色为常见早退规则,浅蓝为停止器的消融。

对 Ouro 模型,在有标签数据上调阈值的置信度规则,以及基于差距、熵和 patience 的早退规则,都没能超过固定深度前沿。而只要像停止器那样在无标签目标请求上、以「与最深答案一致」为准则来选阈值,一个简单的最高概率阈值就能做到与停止器只差 0.2 个点。反过来,在有标签校准集上以「是否答对」为目标拟合,两个 Ouro 模型都会跌到前沿以下。

所需的无标签数据也不多:每折 500 道题,就能让 Lev-2.6B 与全量拟合相差不到 0.2 个点。

发现 5:在 50 ms 以内的低延迟区间,小号 Lev 比同延迟的 dense 模型和级联更准。



论文图 10:LevBench 锁定测试上的准确率与平均延迟。实线连接同一 Lev checkpoint 的各固定深度,星号为按需深度;虚线为最好的 dense 模型或级联,数字为按需 Lev 与它的差距。

在 39 到 46 ms 的延迟下,按需的 Lev-1.4B 和 Lev-3B 比这一延迟下唯一能达到的级联高 7.0 到 8.8 个点,比最好的 dense 方案高 5.4 到 7.5 个点。

作者同样把条件写得很清楚:

  • 部分优势来自 dense 方案本身的空档:在 22 到 79 ms 之间没有任何一个 dense 模型。
  • 延迟是在单张 H200、bf16、一次一个请求的条件下测得的,没有用融合算子、图捕获或状态缓存,所有系统一视同仁。
  • 按浮点运算量计算,每个 Lev 模型都与 dense 方案持平或更差,因为每一圈都要跑完整个底座。所以 Lev 的优势在延迟上,而不是在计算量上。
  • Lev-2.6B 在约 150 ms 处并不比直接用 Kev-4B 更好。

类似地,Lev 能用更少的参数追平更大的模型:Lev-3B 在 JevBench 上与 Qwen3.5-4B 持平,Lev-2.6B 与公开的 Kev-4B 持平(76.2% 对 75.8%,差异不显著)。但参数少不等于运算少。

训练上的几个观察

  • 联合训练几乎不吃亏。与只为单一深度训练的 Ouro-2.6B 模型相比,联合训练的 Lev-2.6B 在 2 圈和 4 圈上持平,在 1 圈上最多落后 1.3 个点;只训练最后一圈则会让浅层读出完全不可用。
  • 更多数据主要强化了浅层。训练数据从 3.1 万条扩到 12 万条,Lev-2.6B 一圈的 held-out 准确率从 50.5% 升到 62.9%,最深一圈从 65.3% 升到 73.0%,按需深度的成本随之从 0.76 降到 0.63。其中一部分提升来自分布内数据。
  • LoRA 优于全参数微调。对 Ouro 模型,全参数微调让最深一圈下降 1.3 到 1.9 个点,并失去相对前沿的优势。

局限

论文研究的循环底座在 1.4B 到 3B 之间,这是目前能公开获得的规模,更大的循环模型能把深度曲线推多远还有待验证。JevBench 结果只基于 231 道公开题。按需深度的成本以环路圈数计,要转成真实耗时,需要能把不同深度请求打包服务的推理系统。延迟测量没有做任何服务端优化,循环模型和 dense 模型的优化服务都留待未来工作。

总结

Lev 把循环深度变成了一个在服务时才决定的设置:同一份决策模型权重,可以按题目在延迟和准确率之间取舍,而不必为每种预算部署一个模型。实验显示,深度带来的提升主要落在难题上;用「与最深答案一致」为目标、在无标签请求上校准的停止器,能在不看难度的情况下把更多计算分给难题。

作者认为接下来有两个方向:设计能救回「浅层答对、深层答错」那 12.6% 题目的停止目标,从而超过最深一圈的准确率;以及在更大的循环底座上检验难题收益是否随规模增长。

论文、代码、三个模型和三个数据集均已公开。数据集是按各来源再分发条款筛选后的子集,无法托管的来源附重建说明。

作者介绍

  • 宋定杰(Dingjie Song,共同第一作者):Lehigh University 博士生。
  • Zhiling Yan(共同第一作者):Lehigh University 博士生。
  • Yuxuan Zhang:University of British Columbia 博士生,Vector Institute。
  • Lichao Sun(通讯作者):Lehigh University 助理教授,课题组主页 https://openlair.github.io/

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
徐国华任广西壮族自治区副主席

徐国华任广西壮族自治区副主席

澎湃新闻
2026-11-18 17:19:32
特朗普出席欢迎宴会 一进门就驻足!聆听乐团演奏

特朗普出席欢迎宴会 一进门就驻足!聆听乐团演奏

看看新闻Knews
2026-11-18 22:36:05
室外小型气象站:防水耐候气象站,室外长期稳定运行

室外小型气象站:防水耐候气象站,室外长期稳定运行

山东博科仪器有限公司
2026-10-28 14:44:36
曲面玻璃视频疯传,爆料人称iPhone 20 Pro里程碑设计

曲面玻璃视频疯传,爆料人称iPhone 20 Pro里程碑设计

报错免疫体
2026-11-17 23:20:24
美以伊局势:美军再袭伊朗格什姆岛;特朗普:正认真对待伊朗或在华盛顿引爆脏弹的消息;伊朗称打击巴林的美军雷达系统,美军否认被击中

美以伊局势:美军再袭伊朗格什姆岛;特朗普:正认真对待伊朗或在华盛顿引爆脏弹的消息;伊朗称打击巴林的美军雷达系统,美军否认被击中

极目新闻
2026-11-18 07:16:44
脚踝骨折,确认报销!开拓者再遭重创,西部夺冠格局再起悬念

脚踝骨折,确认报销!开拓者再遭重创,西部夺冠格局再起悬念

林子说事
2026-11-18 13:52:03
国家免费电视信号已开放,简单调下电视,不用再交有线电视月租

国家免费电视信号已开放,简单调下电视,不用再交有线电视月租

江启
2026-11-06 23:36:07
网上爆火的山姆包到底多好用?我们替你测了个遍

网上爆火的山姆包到底多好用?我们替你测了个遍

酷玩实验室
2026-11-18 10:49:05
英伟达,突然直线拉升!

英伟达,突然直线拉升!

证券时报
2026-11-18 18:43:03
一衣难求,北京大学新款羽绒服火出圈:售价399元,绒子含量90%;校外网友纷纷求代购:售价划算,加上名校光环,很想拥有一件

一衣难求,北京大学新款羽绒服火出圈:售价399元,绒子含量90%;校外网友纷纷求代购:售价划算,加上名校光环,很想拥有一件

极目新闻
2026-11-16 10:06:42
探访墨西哥总统打卡过的深圳餐厅,主理人:客流翻了几倍,即将推出同款“总统套餐”

探访墨西哥总统打卡过的深圳餐厅,主理人:客流翻了几倍,即将推出同款“总统套餐”

极目新闻
2026-11-18 21:03:17
AI演员一句“戴了一天很舒服”,被罚6.8万元

AI演员一句“戴了一天很舒服”,被罚6.8万元

凤凰网财经
2026-11-17 00:22:30
莱昂纳多52岁庆生派对曝光,一车的妖娆女模到场,引发争议

莱昂纳多52岁庆生派对曝光,一车的妖娆女模到场,引发争议

译言
2026-11-17 08:31:18
太阳报:斯科尔斯女儿因伤无缘无板篮球世界杯,心碎发文

太阳报:斯科尔斯女儿因伤无缘无板篮球世界杯,心碎发文

懂球帝
2026-11-18 20:36:46
一旦恢复该规定,中国结婚率或将大幅上涨,离婚率也会有所下降

一旦恢复该规定,中国结婚率或将大幅上涨,离婚率也会有所下降

福建睿平
2026-10-28 07:23:25
阿里员工:P7在杭州相亲市场地位大不如以前了。看中两个女生,一个护士,一个教师,联系方式都没给

阿里员工:P7在杭州相亲市场地位大不如以前了。看中两个女生,一个护士,一个教师,联系方式都没给

蚂蚁大喇叭
2026-11-18 16:37:48
陆毅18岁女儿贝儿官宣签约百沐娱乐,正式以歌手出道!一波星二代扎堆涌来

陆毅18岁女儿贝儿官宣签约百沐娱乐,正式以歌手出道!一波星二代扎堆涌来

露珠聊影视
2026-11-18 14:36:57
刚刚!苹果新品突然上架,真的心动啊

刚刚!苹果新品突然上架,真的心动啊

科技堡垒
2026-11-18 08:00:35
从全美五星到四年四队!格雷姆斯47分之夜,拯救湖人也证明了自己

从全美五星到四年四队!格雷姆斯47分之夜,拯救湖人也证明了自己

林小湜体育频道
2026-11-18 16:21:42
96分钟绝杀,哈兰德双响导演大逆转!0-2到3-2,挪威奇迹晋级8强

96分钟绝杀,哈兰德双响导演大逆转!0-2到3-2,挪威奇迹晋级8强

我的护球最独特
2026-11-18 05:52:43
2026-11-19 00:23:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14506文章数 142760关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

“感谢中方特殊安排” 特朗普又带着高规格代表团来了

头条要闻

“感谢中方特殊安排” 特朗普又带着高规格代表团来了

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

时尚
艺术
旅游
本地
游戏

穿好“长大衣”,这8个细节很重要!

艺术要闻

洛阳发现唐代墓志,将魏碑、唐楷精髓融于一体,比欧颜柳赵的字更耐看!

旅游要闻

维港夜空告别“幻彩咏香江” 22年光影记忆落幕

本地新闻

乌兰察布:以前种土豆,现在种Token

《GTA6》支持多套手柄按键方案!经典X键奔跑还在

无障碍浏览 进入关怀版