网易首页 > 网易号 > 正文 申请入驻

英伟达新研究实锤:上下文不是越长越好

0
分享至


长程任务需要执行许多步骤,长输入任务需要处理大量材料,但这是否意味着模型必须始终保留长上下文?

英伟达新研究发现,完成所谓的长上下文任务,并不需要长上下文。


论文链接:https://arxiv.org/abs/2611.05306

研究团队通过频繁压缩历史和选择性读取输入,检验模型能否在短上下文中完成长程与长输入任务,并据此提出语义状态空间模型(Semantic State Space Models,SSSMs)的概念。根据他们给出的结果,在所测试的多种任务中,保持短上下文带来的准确率损失很小,或者没有损失。即使每段上下文最多执行一次动作,模型在长程软件工程任务中的表现也没有崩溃。

他们关注的首先是长上下文的实际开销。对于研究讨论的主流注意力架构,生成一个 token 所需的计算量随其在上下文中的位置增加而增长,位置靠后的 token 比位置靠前的 token 生成成本更高。在前沿开放权重模型上,这种成本差异最高可达 7 倍。所以,上下文越长,输出 token 的生成开销越高。不过,云端服务通常按固定的每百万 token 单价收费,用户未必能够直接察觉这种成本差异。

一方面,长上下文会增加生成开销。另一方面,模型的上下文窗口持续扩大,能够容纳的文本规模已经超过许多长篇作品。这促使他们追问,完成通常被归入长上下文的任务,是否确实需要长上下文?

他们将上下文变长的原因分为两类。一类是长程任务,模型需要采取多次动作才能完成目标,交互历史随着任务推进不断积累。另一类是长输入任务,任务本身附带大量信息,直接输入便会形成长上下文。

但执行过程长,不代表模型每一步都必须重新考虑全部历史。输入材料多,也不代表模型必须始终读取全部内容。他们指出,如果将长输入保存为资源,再为模型提供选择性读取工具,长输入任务就可以转化为需要多次行动的长程任务。

围绕这两类任务,他们提出三个研究问题,RQ1 考察长程任务能否在没有长上下文的情况下完成。RQ2 考察长输入任务能否在没有长上下文的情况下完成。RQ3 则进一步考察,当每段上下文最多执行一次动作时,模型能否完成长程任务。


图|本研究考察的三种上下文管理策略

针对 RQ1,他们采用对话末尾压缩,比较压缩历史与保留完整历史时的任务准确率。他们发现,即使采用这种简单的压缩方式,准确率通常也能达到或略高于完整历史基线。在其余设置中,准确率损失较小。这表明,在这些测试中,模型无须持续保留全部交互记录,也能维持接近原有水平的任务表现。


图|长程任务结果随总上下文上限的变化

RQ2 将考察对象转向长输入。模型面对的材料总量并未减少,改变的是访问方式。他们采用选择性读取,并在需要时使用上下文压缩作为后备措施,使模型能够处理长材料,同时保持较短的实时上下文。这种方式在几乎所有测试情形中都能达到或超过一次性输入完整材料的基线,部分情形下改善幅度较大。对于这些任务,输入材料很长,并不要求模型始终将全部内容放在当前上下文中。


图|长输入任务结果随总上下文上限的变化

前两组问题分别考察了历史压缩与选择性读取,RQ3 则进一步考察动作之间需要传递多少历史。他们测试单动作压缩,每段上下文最多执行一次动作,动作之间只传递紧凑的语义状态。单动作压缩能够大致保持基线准确率,或者取得更高的准确率。在这一条件下,模型在长程软件工程任务中的表现没有崩溃。


图|SAC 与 FHA、EoCC 的比较

SSSMs 正是基于这些发现提出的模型概念。通过紧凑的语义状态衔接连续动作,是他们在单动作压缩实验中考察的执行方式,也是这一概念的出发点。

由此,长程任务可以通过压缩减少历史积累,长输入任务可以通过选择性读取控制当前上下文,单动作压缩则进一步检验了紧凑状态能否支持连续执行。

三个研究问题最终回到同一个核心问题,任务很长,是否就意味着上下文必须很长?他们据此认为,在所测试的设置中,长输入和长交互过程本身,都不足以构成长上下文必不可少的理由。通过有组织的状态维护与选择性访问,模型能够保持较短的上下文,同时维持接近或更高的任务准确率。

更多技术细节,详见原论文。

作者:张佳怡

如需转载或投稿,请直接在本文章评论区内留言

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
AZEC峰会散场,11国收到特殊邀请,高市早苗喊话,把石油存进日本

AZEC峰会散场,11国收到特殊邀请,高市早苗喊话,把石油存进日本

临云史策
2026-11-19 21:00:13
10 亿、B300 大单:黄了

10 亿、B300 大单:黄了

云头条
2026-11-20 01:32:10
舍甫琴科回应穆德里克:若有证据就拿出来,否则希望他道歉

舍甫琴科回应穆德里克:若有证据就拿出来,否则希望他道歉

懂球帝
2026-11-20 02:47:48
美国打死都没想到!早些年,大量外逃的中国腐败和经济犯罪嫌疑人,把美国当成了最稳妥的藏身窝点

美国打死都没想到!早些年,大量外逃的中国腐败和经济犯罪嫌疑人,把美国当成了最稳妥的藏身窝点

扶苏聊历史
2026-09-21 16:57:44
皇马第13轮主场迎战塞尔塔首发前瞻:楚阿梅尼、B 席复出但不先发,维尼修斯解禁,穆帅安排强攻阵容

皇马第13轮主场迎战塞尔塔首发前瞻:楚阿梅尼、B 席复出但不先发,维尼修斯解禁,穆帅安排强攻阵容

福酱的小时光
2026-11-20 06:42:11
恶劣!球员拿石头猛砸边裁致口鼻流血面部骨折被迫手术 被禁赛八年

恶劣!球员拿石头猛砸边裁致口鼻流血面部骨折被迫手术 被禁赛八年

狍子歪解体坛
2026-11-19 12:08:05
张泉灵旧照被考古,北大时期艳压群芳,美成女儿国国王

张泉灵旧照被考古,北大时期艳压群芳,美成女儿国国王

喵喵娱乐团
2026-11-19 16:06:01
湖人官方史书出限量版,最高售价9600美元

湖人官方史书出限量版,最高售价9600美元

热搜摘要官
2026-11-20 08:16:54
全网点赞!马斯克带娃亮相APEC,全家爱中国表现绝了

全网点赞!马斯克带娃亮相APEC,全家爱中国表现绝了

大厂财经社
2026-11-20 01:42:51
Anthropic敲钟,美股跳水:AI狂欢要结束了吗?

Anthropic敲钟,美股跳水:AI狂欢要结束了吗?

第一财经资讯
2026-11-20 07:16:18
被骂9年“骗子”的贾跃亭,突然把英伟达OpenAI踩在脚下:0.8698分全球第一,是翻身还是换壳讲故事?

被骂9年“骗子”的贾跃亭,突然把英伟达OpenAI踩在脚下:0.8698分全球第一,是翻身还是换壳讲故事?

秋风妃
2026-11-18 21:50:07
泰钽700月销仅68台 别把消费者当傻子了

泰钽700月销仅68台 别把消费者当傻子了

汽车天涯
2026-11-18 15:26:37
有位俄罗斯专家直言:我并不担忧中国会败给日本,但我唯一担忧的是,中国会不会再次对日本宽厚,日本会不会把中国的克制当成冒险的通行证

有位俄罗斯专家直言:我并不担忧中国会败给日本,但我唯一担忧的是,中国会不会再次对日本宽厚,日本会不会把中国的克制当成冒险的通行证

扶苏聊历史
2026-11-17 15:53:30
中国这次真的要变天了!因为60后退休潮最大的影响,不是岗位空缺,也不是养老金吃紧,是彻底改写了经济模式和生活方式

中国这次真的要变天了!因为60后退休潮最大的影响,不是岗位空缺,也不是养老金吃紧,是彻底改写了经济模式和生活方式

扶苏聊历史
2026-10-30 14:34:51
亮相APEC晚宴的广东荔枝冰酒被买断货,厂家:已启动紧急补货机制

亮相APEC晚宴的广东荔枝冰酒被买断货,厂家:已启动紧急补货机制

极目新闻
2026-11-19 22:03:12
62人作弊被处理!陕西官方通报

62人作弊被处理!陕西官方通报

扬子晚报
2026-11-19 21:33:47
王石再次预言楼市!2026年12月之后,中国房价或迎来4大转变

王石再次预言楼市!2026年12月之后,中国房价或迎来4大转变

巢客HOME
2026-11-19 11:00:09
千亿老板拎包,陪老父亲逛商场购物,再大的老板在爹面前也是孩子

千亿老板拎包,陪老父亲逛商场购物,再大的老板在爹面前也是孩子

Mz娱乐前沿
2026-11-19 21:01:32
AMD直线跳水近11%市值蒸发超6000亿元,美股三大指数全线转跌,现货黄金跌破3700美元

AMD直线跳水近11%市值蒸发超6000亿元,美股三大指数全线转跌,现货黄金跌破3700美元

21世纪经济报道
2026-11-20 01:56:05
多国首脑在深圳开启逛街模式,每个人的路线选择都很有意思

多国首脑在深圳开启逛街模式,每个人的路线选择都很有意思

麓谷隐士
2026-11-19 22:19:16
2026-11-20 08:36:49
学术头条
学术头条
致力于学术传播和科学普及,重点关注AI4Science、大模型等前沿科学进展。
1518文章数 5081关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

旅游
本地
亲子
时尚
艺术

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

本地新闻

乌兰察布:以前种土豆,现在种Token

亲子要闻

宝宝气人但是聪明的4个行为

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

无障碍浏览 进入关怀版