网易首页 > 网易号 > 正文 申请入驻

Token砍半不掉分,NVIDIA在框架层省出三分之一成本

0
分享至

NVIDIA的研究团队把目光从模型权重上移开了。他们提出的SoL-Pi方法,锁定的是Harness层——也就是模型之外、框架之内的那一整套调用与调度逻辑。在EdgeBench上,这套方法保留94%分数的前提下,把Token流量压低了49%,API成本降了三分之一。

这不是靠换更小的模型做到的。模型权重固定不动,改的全是框架里那些被反复浪费的环节。


为什么盯上框架层

7×24小时无人值守的Coding Agent,真正的成本瓶颈往往不在推理本身,而在过程性浪费。一次任务里,编辑、测试、调用来回往返,上下文反复压缩,大段输出被完整塞回模型——这些动作和具体任务无关,和具体模型也无关。

正因为无关,收益才可迁移。框架每个环节的浪费模式是通用的,一次优化能惠及所有任务。素材里提到,Opus 5在零适配的情况下验证省下了44.7%

自动化研究怎么防过拟合

SoL-Pi的筛选过程本身就是一条自动化研究流水线,规模达到152个方向、535个环境、3000+次运行、60k+次交互。规模一大,最容易出的问题就是进化过拟合——筛出来的机制只在测试集上好看。

团队用了三道设计来挡:

  • 独立验证留出集,永不回流到训练流程
  • 冻结指标先行,能力指标不越界,效率指标至少改进一项
  • 一次性技能循环,实例隔离无耦合

这三条保证了筛选出的机制具备真泛化能力,而不是记住了某几个环境的特征。

活下来的四个机制

最终有四个机制通过了筛选,每一个都对应一种可测量的具体Token浪费模式。

Action Fusion把编辑和测试调用合并,砍掉往返开销。Context Compact在子任务结束时做压缩,并且把缓存账算清楚。ObservationPack把大输出在本地归档,只给模型句柄和摘录,降低观测带宽。Evidence Reducer用便宜模型提炼日志,再逐句验证,验证不过就回退。

这四个机制的工程细节都指向同一个思路:不减少必要的信息,只减少信息的搬运次数和体积。

成本账算得很诚实

实验里没有回避缓存写放大的成本。单位分数成本从$0.586降到$0.417。按这个数字外推,持续运行时每小时能省下$8.75到$13.50

省Token不掉分,才是真效率。这句话放在7×24运行的Agent场景里,分量比听起来更重——因为成本是按小时累积的,而分数掉一点,可能就意味着整条流水线要人工介入。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
做好最坏准备!两线作战不够,中国需具备一起打赢3场战争的实力

做好最坏准备!两线作战不够,中国需具备一起打赢3场战争的实力

混沌录
2026-08-30 22:26:21
是时候揭开真相了:当年对越作战的损失或许远超人们想象,仅从那些牺牲的将门之后就能看出端倪

是时候揭开真相了:当年对越作战的损失或许远超人们想象,仅从那些牺牲的将门之后就能看出端倪

人生录
2026-08-26 00:05:15
朱迅没想到,结婚22年后,王志竟因去世的敬一丹,大赚观众口碑

朱迅没想到,结婚22年后,王志竟因去世的敬一丹,大赚观众口碑

冷紫葉
2026-09-19 12:28:13
奔驰提议德国恢复40小时工作制!此前德国总理批评德国人太懒,要向恢复六天工作制的希腊学习

奔驰提议德国恢复40小时工作制!此前德国总理批评德国人太懒,要向恢复六天工作制的希腊学习

狐狸先森讲升学规划
2026-09-19 01:40:05
保利集团董事长贺平的人生颇具传奇色彩:他娶了邓小平的女儿为妻,还曾低调斥资3000万元收回三件国宝

保利集团董事长贺平的人生颇具传奇色彩:他娶了邓小平的女儿为妻,还曾低调斥资3000万元收回三件国宝

z千年历史老号
2026-09-07 11:43:45
四川突发泥石流,有人员失联

四川突发泥石流,有人员失联

江西工人报
2026-09-19 12:15:22
男子钓上118斤大青鱼,妻子称青鱼石留下给孩子,鱼卖了2.5万元,青鱼石是什么?为何有买家愿花高价买大鱼?

男子钓上118斤大青鱼,妻子称青鱼石留下给孩子,鱼卖了2.5万元,青鱼石是什么?为何有买家愿花高价买大鱼?

之乎者也小鱼儿
2026-09-16 10:56:28
饶颖:赵忠祥与我发生关系7年,他的特殊性癖,让我身心受到伤害

饶颖:赵忠祥与我发生关系7年,他的特殊性癖,让我身心受到伤害

林轻吟
2026-09-19 16:09:02
医生再次提醒:明年开始,83岁以上长者请提前做好这2项生活准备

医生再次提醒:明年开始,83岁以上长者请提前做好这2项生活准备

叙说医疗健康
2026-09-19 07:00:16
“她是桃花眼,前途不敢估量”,女孩考上中山大学,面相火了

“她是桃花眼,前途不敢估量”,女孩考上中山大学,面相火了

世界圈
2026-08-21 09:05:40
广西“孙子非亲生”案更新!老人患癌深感来日不多,直接表态:若是亲生的,钱全部归你;若不是亲生的,只要一元钱和一句道歉

广西“孙子非亲生”案更新!老人患癌深感来日不多,直接表态:若是亲生的,钱全部归你;若不是亲生的,只要一元钱和一句道歉

火山詩话
2026-09-18 17:54:10
火箭队大交易渐近?4位新人或是筹码,2亿先生绝对不卖,最早下赛季出手

火箭队大交易渐近?4位新人或是筹码,2亿先生绝对不卖,最早下赛季出手

熊哥爱篮球
2026-09-19 11:03:34
完了!问界真要撤出华为门店了,有网友开始退定金,二手车价格也崩了?

完了!问界真要撤出华为门店了,有网友开始退定金,二手车价格也崩了?

南财社V
2026-09-17 22:29:10
人有没有脑出血,看喝水就知道?脑出血的人,喝水常有这5个特征

人有没有脑出血,看喝水就知道?脑出血的人,喝水常有这5个特征

路医生健康科普
2026-09-18 23:15:03
9月19日,如果今年养老金实现调整,应该会和往年大不相同,看看

9月19日,如果今年养老金实现调整,应该会和往年大不相同,看看

社保小达人
2026-09-19 10:01:52
京沪高铁收支出炉:运行满 15 年,总投资约 2209 亿,回本了吗?

京沪高铁收支出炉:运行满 15 年,总投资约 2209 亿,回本了吗?

抽象派大师
2026-09-15 13:35:53
深夜爆大瓜!匿名爆料引爆热搜:网传85花与前辈老公已离婚,约定等孩子长大再官宣

深夜爆大瓜!匿名爆料引爆热搜:网传85花与前辈老公已离婚,约定等孩子长大再官宣

火山詩话
2026-09-18 05:06:28
狗的哪个部位最脆弱?训狗师傅告诉你:遇到恶犬扑来,千万别用脚踢,那样会让疯狗越咬越狠,记住以下几点,三两招就能制服疯狗!

狗的哪个部位最脆弱?训狗师傅告诉你:遇到恶犬扑来,千万别用脚踢,那样会让疯狗越咬越狠,记住以下几点,三两招就能制服疯狗!

扶苏聊历史
2026-09-11 16:53:42
热议!70万新车出现异响,要求换车被拒,最新后续曝光

热议!70万新车出现异响,要求换车被拒,最新后续曝光

西昆仑Bruce
2026-09-19 15:22:17
“患癌就老实了!”低认知宝妈带娃在地下车库吃饭写作业,网友:打扮的还挺漂亮!

“患癌就老实了!”低认知宝妈带娃在地下车库吃饭写作业,网友:打扮的还挺漂亮!

林林先生
2026-09-15 10:24:09
2026-09-19 21:15:00
碳基打工人
碳基打工人
坐标北京,靠咖啡续命,靠小红书下饭的普通人类。
284文章数 85关注度
往期回顾 全部

科技要闻

要走650亿,智谱的理想越来越贵

头条要闻

两名女高中生坐顺风车 半路被司机赶下车:不坐滚下去

头条要闻

两名女高中生坐顺风车 半路被司机赶下车:不坐滚下去

体育要闻

2026亚运会开幕式 胡明轩吴愉担任旗手

娱乐要闻

自毁前途5年赵薇露面!家境被扒出

财经要闻

江西首富破产:一张927万商票压垮千亿帝国

汽车要闻

大块头的从容 红旗G919如何兼顾豪华与越野能力

态度原创

旅游
数码
教育
本地
公开课

旅游要闻

甘肃敦煌:体验丝路风情 感受文化魅力

数码要闻

极米投影Z6X Pro三色激光旗舰版2026焕新升级,首发2399元

教育要闻

十岁孩子跳河轻生,班主任老师被立案侦查。

本地新闻

中秋逛白塔寺,体验国医妙荟雅集

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版