网易首页 > 网易号 > 正文 申请入驻

混合架构模型跑Agent,预填充吞吐再提升3倍!FlashStates重新设计混合状态缓存

0
分享至



视频链接:https://mp.weixin.qq.com/s/hiQcwqZmzd87-HRmNMoCiA

Kimi Delta Attention(KDA)、Gated DeltaNet(GDN)、Mamba-2 等线性注意力与状态空间层,正在成为开源大模型的常见组件。Kimi K3.1 Pro、GLM-5.3-Flash、Qwen3.8-Flash-Next、Nemotron 3 Super 都采用了「全注意力 + 线性层」的混合架构,以换取更快的解码和更小的 KV Cache。

但在编程 Agent 这类多轮、长上下文负载中,混合模型的前缀缓存管理比纯 Transformer 要更加复杂。来自 Together AI、UIUC 与 UT Austin 的研究团队提出 FlashStates,重新设计了混合架构模型的 KV 和状态缓存管理。在英伟达 B200 GPU 上回放真实 Claude Code 轨迹时,FlashStates 的预填充(prefill)吞吐最高达到 vLLM 的 3.14 倍,p90 首 token 延迟(TTFT)最多降低 88.4%。接入 512GiB 的 Mooncake CPU 缓存后,收益依然显著,并且已经支持分布式存储与跨节点的混合状态复用。



  • 论文标题:FlashStates: Unlocking Flexible Hybrid State Management for Agentic LLM Inference
  • 论文链接:https://www.alphaxiv.org/abs/2611.FlashState
  • 代码:https://github.com/FutureMLS-Lab/FlashStates
  • 项目主页:https://FlashStates.ai

作者介绍

本文由Together AI、伊利诺伊大学厄巴纳-香槟分校(UIUC)与得克萨斯大学奥斯汀分校(UT Austin)合作完成。共同第一作者为 Chenxi Li(Together AI)与 Weili Xu(UIUC),其他作者包括 Tianyi Zhang、Jue Wang、Zhongzhu Zhou(Together AI)与通讯作者 Chenfeng Xu(UT Austin)。

Together AI 于 2022 年 6 月创立,由 Flash Attention 作者 Tri Dao、斯坦福大模型研究中心主任 Percy Liang、芝加哥大学副教授 Ce Zhang、苹果前高管 Vipul Ved Prakash 联合创办。FutureMLS(Future Machine Learning & Systems Lab)是由 悉尼大学计算机科学博士周中柱创立的非营利研究实验室,聚焦高效机器学习架构、后训练、训练与推理引擎,以及智能体系统。

混合状态:缺一不可的两件套

纯 Transformer 的 KV 按 token 存储,前缀可以截断到任意位置复用。线性层则用一个固定大小的循环状态概括整个前缀,好处是整个状态不会随着输入 prompt 长度增长,但坏处是单个状态块占用内存大,而且该状态无法回滚:拿着第 10000 个 token 处的状态,推不出第 9000 个 token 处的状态。

因此,要从位置 p 继续计算,必须同时拥有 1. 完整前缀的注意力 KV,以及 2. 恰好位于 p 的循环检查点(recurrent checkpoint,后文简称为检查点)。论文把两者合称为「混合状态」。

Agent 负载每一轮请求都是「上一轮 prompt + 上一轮输出 + 工具结果」,最理想的复用点就是上一轮请求 decode 输出的终点,而这个位置通常不会落在引擎预设的块边界上。

现有引擎的问题:三类未命中

研究团队用 GLM-5.3-Flash 分别运行 vLLM 和 SGLang,对每个被重算的 prompt token 追溯原因,归纳出三类可避免的缓存未命中场景:放置未命中(检查点没存在需要的位置)、依赖未命中(KV 还在,检查点被驱逐)、容量未命中(缓存确实装不下)。



vLLM 与 SGLang 的缓存未命中归因

vLLM 默认只在 prompt 内每 4,352 token 的块边界保存检查点,decode 阶段不保存。低并发(8-16)时,放置未命中占其未缓存 token 的 43%。SGLang 则支持细粒度的块边界,如 256 token,该设置相同并发下放置问题基本消失,未命中降到 5% 以下,但约 430 个检查点挤在独立的状态池里,按 LRU 驱逐时经常踢掉 KV 仍在的检查点导致依赖未命中

并发继续升高后(32-64),问题开始叠加。vLLM 的 prompt 末端检查点在请求进入解码后就会被放回可驱逐队列,依赖未命中从 40 并发起快速增长,64 并发时占其未缓存 token 的 42%。也是从 40 并发起,两个引擎都进入「混合状态颠簸」(hybrid state thrashing),容量未命中叠加在依赖未命中之上

结论是:检查点间隔大了产生放置未命中,小了产生依赖未命中,并发再高还会叠加容量未命中,单靠调整检查点密度无法解决。

FlashStates 的设计

1. 任意位置状态检查点(ASC)。

FlashStates 在每个请求结束时捕获其精确终点的状态;如果终点落在 KV 块内部,就保留整个末尾块,同时包括全注意力 KV 和循环检查点,将他们进行统一管理。对于预填充中途的位置,团队定义了 PrefillExport 接口,让 kernel 在正常计算的同时导出指定位置的状态,输出结果保持不变。KDA 和 GDN 的 kernel 均已适配。

2. 定义优化目标

有了 ASC,混合状态可以存在任意位置,剩下的问题是:显存放不下时,该留哪些?论文用两个位置来刻画一个请求 r 浪费了多少(见下图)。理想恢复点 ℓ(r)(*):这个请求的 prompt 与此前处理过的所有内容最长能对上的地方,只要缓存足够大,就能从这里接着算。实际恢复点 ℓ(r)(π):在缓存策略 π 下,缓存里仍完整保留着混合状态的最近位置。两者之间的 token 只能重新预填充,花费的时间记作 C(ℓ(r)(π), ℓ(r)(*))。

其优化目标是:在有限的 GPU 内存 B 下,让每个请求的实际恢复点 ℓ(r)(π) 尽量接近理想恢复点 ℓ(r)(*),即最小化所有请求重复计算的预填充时间之和 Σ(r) C(ℓ(r)(π), ℓ(r)(*))。



3. 依赖感知的准入与驱逐。

围绕这一目标,团队基于经典的 GreedyDual-Size(GDS)算法设计了在线策略,每个混合状态的优先级为:H(u) = 上次使用时的水位线 + 恢复代价 ÷ 驱逐后实际释放的块数。其中恢复代价就是驱逐后相关请求要多付出的预填充时间,由上面的代价模型估算。驱逐的单位是「一个检查点 + 只被它依赖的块」,与其他混合状态共享的前缀不计入释放量。两项单位都是「每块的预填充时间」,可以直接相加,不需要任何随负载调整的超参数。同时,准入也用同一个优先级:显存紧张时,新检查点只有比已缓存中最不值钱的那个更有价值,才会被保留。

GPU 缓存下的实验结果

实验在 B200 上进行,负载为 SemiAnalysis 公开的 Claude Code 轨迹。GLM-5.3-Flash、1M 上下文、48 会话时:



在三个模型上,FlashStates 的预填充吞吐分别为 vLLM 的 3.15 倍(GLM-5.3-Flash)、2.27 倍(Nemotron 3 Super)和 1.54 倍(Qwen3.8-Flash-Next),p90 TTFT 分别降低 88.4%、77.1% 和 79.0%。



在多种混合架构模型上随并发变化的服务性能

走出 GPU:CPU 缓存与跨引擎复用

生产环境中,推理服务通常会把 GPU 放不下的缓存下沉到 CPU 内存乃至共享存储。那么缓存足够大时,FlashStates 的收益还在吗?论文的回答是:更大的缓存能留住更多数据,但无法提供一个从未被保存的检查点。

团队将 FlashStates 接入 Mooncake 作为 CPU 缓存层,并做了三项工程改造:

  • 请求结束即异步写穿:请求一结束,精确终点的新状态就排队拷贝到 CPU,不必等到 GPU 驱逐时再搬;
  • 两级缓存统一管理:扩展 Mooncake 的元数据服务器,跟踪状态归属与共享 KV 引用,把依赖感知的 GDS 策略推广到 GPU + CPU 两级缓存,仍被其他状态依赖的块不会被误删;
  • 传输优化:优化 GPU 到 CPU 的拷贝,并压缩投机解码(MTP)相关的状态。

测试使用 GLM-5.3-Flash NVFP4、1M 上下文,每个服务两块 B200,开启 3 步 MTP,对比 vLLM + Mooncake(512GiB)与 SGLang + HiCache(511.5GiB 主机缓存):

  • 输出吞吐比 vLLM + Mooncake 最高提升 41.4%,比 SGLang + HiCache 最高提升 36.2%
  • 中位未缓存 prompt token 减少 68.7%–81.4%
  • 80 会话时 p90 TTFT 降低约 3 倍(7.18 秒,对比 21.88 秒和 22.97 秒)



512GiB CPU 缓存下的输入吞吐与解码速度(气泡面积为 p90 TTFT,GLM-5.3-Flash NVFP4,32–80 会话)

更进一步,写入共享存储的状态可以被另一个引擎 worker上的后续轮次复用,条件是前缀精确匹配,且各张量并行(TP)rank 所需的对象齐全。这为预填充-解码(PD)分离等分布式部署中「下一轮由另一个预填充引擎接手」打下了基础。

结语

FlashStates 的核心观点是:恢复位置应由「哪里能复用」决定,而不是由「KV 怎么分块」决定。在工程上,它已集成 vLLM,覆盖三种混合架构,兼容 CPU 缓存与投机解码,并为跨引擎的状态共享做了准备。随着混合架构普及、Agent 上下文持续变长,推理系统中为纯 Transformer 设计的缓存逻辑,需要针对混合状态重新设计。目前,开源推理引擎 SGLang 已接入了 FlashStates 提出的成本感知状态淘汰策略,并在官方文档中明确引用了这项工作。

参考链接:https://docs.sglang.io/docs/advanced_features/radix_eviction_policy#state_cost-parameters

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
最佳论文:中国财政供养人员达6846万,占总人口4.85%

最佳论文:中国财政供养人员达6846万,占总人口4.85%

玛丽姬丝
2026-11-16 13:15:03
新华社快讯:习近平将同俄罗斯总统普京、美国总统特朗普举行中俄美元首会晤

新华社快讯:习近平将同俄罗斯总统普京、美国总统特朗普举行中俄美元首会晤

新华社
2026-11-16 09:01:02
疑似用虾滑充当肿瘤?中南大学湘雅医院被爆出史诗级全AI论文

疑似用虾滑充当肿瘤?中南大学湘雅医院被爆出史诗级全AI论文

西虹市闲话
2026-11-16 18:42:42
原上海医科大学附属妇产科医院党委书记花俊生逝世,享年91岁

原上海医科大学附属妇产科医院党委书记花俊生逝世,享年91岁

澎湃新闻
2026-11-16 09:20:27
美国媒体说黄仁勋疯了...

美国媒体说黄仁勋疯了...

新动察
2026-11-16 16:09:57
倍诺达价格直降100万元!药企回应:定价经过深思熟虑,不存在“卖一针亏一针”的情况

倍诺达价格直降100万元!药企回应:定价经过深思熟虑,不存在“卖一针亏一针”的情况

红星新闻
2026-11-16 20:35:09
三天吃了20%跌幅:科技股现跌停潮不少股民爆仓!

三天吃了20%跌幅:科技股现跌停潮不少股民爆仓!

城事堂
2026-11-16 18:48:46
《奥特曼》女星,突然去世,年仅23岁

《奥特曼》女星,突然去世,年仅23岁

中国新闻周刊
2026-11-16 19:04:57
东契奇43+3+9无缘今日最佳!对不起,你碰到创纪录的阿门了

东契奇43+3+9无缘今日最佳!对不起,你碰到创纪录的阿门了

微评体育圈
2026-11-16 12:41:43
大反转!黄仁勋准备杀回英伟达,谁说的短剧节奏太快脱离现实,今天开始认真学习红果

大反转!黄仁勋准备杀回英伟达,谁说的短剧节奏太快脱离现实,今天开始认真学习红果

起点财经
2026-11-16 11:37:48
被骂“滚回中国”后,华人家庭谢绝“当面道歉”!“没有必要,希望她自己想想为什么”

被骂“滚回中国”后,华人家庭谢绝“当面道歉”!“没有必要,希望她自己想想为什么”

发现新西兰
2026-11-16 11:23:23
1987年邓小平召集小型会议,众目睽睽之下,猛地指向刘华清与洪学智问杨尚昆:命令究竟有没有下达

1987年邓小平召集小型会议,众目睽睽之下,猛地指向刘华清与洪学智问杨尚昆:命令究竟有没有下达

唠叨说历史
2026-11-16 16:13:14
“乡村田地停放两架废弃飞机9年”调查:企业买飞机改造为住宿餐厅早已停业 镇政府回应土地属非基本农田

“乡村田地停放两架废弃飞机9年”调查:企业买飞机改造为住宿餐厅早已停业 镇政府回应土地属非基本农田

红星新闻
2026-11-16 18:07:10
西甲向总台澄清,涉亚马尔种族歧视内容系伪造

西甲向总台澄清,涉亚马尔种族歧视内容系伪造

上观新闻
2026-11-16 19:58:57
4岁藏族小女孩牵着高反女游客找氧气:“别哭了,哭的话会越来越缺氧”

4岁藏族小女孩牵着高反女游客找氧气:“别哭了,哭的话会越来越缺氧”

一丝不苟的法律人
2026-11-15 17:01:02
突发!英特尔陈立武被起诉!四大芯片公司华人CEO,要被逐个清算?

突发!英特尔陈立武被起诉!四大芯片公司华人CEO,要被逐个清算?

起点财经
2026-11-16 15:41:03
网友翻出黄仁勋18年前探望四川地震灾区孩子的照片

网友翻出黄仁勋18年前探望四川地震灾区孩子的照片

3DM游戏
2026-11-15 19:51:38
深圳,准备好了!APEC盛会开幕进入倒计时

深圳,准备好了!APEC盛会开幕进入倒计时

新民晚报
2026-11-16 20:09:22
昨晚陪闺蜜去汗蒸,她脱光的瞬间我破防:女人差距不止看脸蛋

昨晚陪闺蜜去汗蒸,她脱光的瞬间我破防:女人差距不止看脸蛋

皓皓情感说
2026-11-16 07:51:03
挥泪斩马谡!曼联驱逐“顶薪大核”,签约顶星!两强援闪电加盟

挥泪斩马谡!曼联驱逐“顶薪大核”,签约顶星!两强援闪电加盟

头狼追球
2026-11-16 17:53:47
2026-11-16 21:12:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14487文章数 142758关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

女星劝妈妈去体检结果竟查出肺癌:妈妈一度瘦成皮包骨

头条要闻

女星劝妈妈去体检结果竟查出肺癌:妈妈一度瘦成皮包骨

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

官宣离婚不到1月,李小冉进医院

财经要闻

10万人逼宫英伟达 黄仁勋要复职了?

汽车要闻

99元抵2000元/续航580km 一汽-大众ID. AURA L5开启盲订

态度原创

房产
家居
旅游
亲子
公开课

房产要闻

6.6亿!海口卖地!

家居要闻

2026建博会(广州) 公装联探展交流活动

旅游要闻

焕然一新的泉城公园

亲子要闻

黄桷坪安全微剧场|安全小侦探出发啦(新市场社区)

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版