网易首页 > 网易号 > 正文 申请入驻

KV4-RL:给AI训练装上四档变速箱,让强化学习飞起来

0
分享至


2024年的某个深夜,一群训练推理模型的工程师发现了一件怪事。

他们把GPU集群里的生成速度从"同步等待"改成了"异步插队",理论上应该快很多。实际跑起来确实快了,整个批次的利用率从惨不忍睹变成了相当体面。但奇怪的是,加速的幅度总是不如预期的那么夸张。显卡明明更忙了,但每一步解码花的时间也变长了。

这不是哪个具体团队的内部八卦,而是这篇论文想要揭开的系统性问题。KAIST和NAVER Cloud的研究者们把这个现象命名为"KV concentration"(KV集中化),并且顺着这条线索,造出了一个叫KV4-RL的加速方案。

这篇文章想聊的,就是他们怎么发现问题、怎么分析问题、最后怎么解决问题的全过程。

一个悖论:更忙的GPU为什么没有想象中快

先说说背景。现在训练推理模型(比如让AI做数学题的那种),常用的方法叫GRPO(Group Relative Policy Optimization,一种让AI对同一个问题生成多个答案,然后互相比较打分来学习的强化学习方法)。这类训练的核心开销,其实不是"学习"这一步,而是"生成"这一步,也就是让模型反复吐字,直到吐出完整的解题过程。

问题在于,AI生成答案的长度参差不齐。简单题三言两语,复杂题可能要写几千字的推理链。

传统做法是同步收集:一批任务一起开始,一起等待,直到最慢的那个写完。这就好比餐厅里一桌客人同时点菜,有人点了份快餐,有人点了需要慢炖两小时的硬菜,服务员必须等所有菜都做好才能一起上桌。那些点快餐的客人的座位,在这两个小时里白白空着,没法接待新客人。

异步收集的思路是:谁写完了,谁的座位立刻放进新客人。这样座位利用率确实提高了。但研究者们发现了一个此前没人仔细算过的代价:座位周转快了,但每次上菜前厨房要处理的"记忆量"也跟着暴涨。

这个"记忆量",专业说法叫KV缓存

KV缓存:Key-Value Cache,AI模型在生成文字时,为了不用每次都重新"回忆"前面说过的所有话,会把之前每个字的关键信息(Key)和对应内容(Value)存起来,后面生成新字时直接查这个缓存,不用从头推理一遍。

想象一下,如果让你一边聊天一边完全凭记忆复述前面说过的每一句话,那太累了。AI也一样,它用KV缓存把"已经说过的内容"存成一种速查表。

问题是,异步调度让更多的长对话同时"挂在"系统里。研究者用一个真实的训练追踪发现,异步收集让每一步平均要处理的KV缓存体积暴涨了7.82倍,每一步解码的耗时也跟着涨了4.52倍。虽然并发数量上去了,带来1.83倍的吞吐提升,但这部分收益,被更贵的单步成本吃掉了一大半。

这就是论文的第一个核心发现:异步调度虽然消灭了"空座率",却把原本分散在很多轮次里的记忆负担,压缩进了更少、更重的几轮里。这不是异步调度本身的问题,而是一个数学上必然的结果,只要响应长度参差不齐,这种"集中化"效应就一定会发生。论文里甚至给出了严格的数学证明,证明在理想化的持续补位模型下,这个集中化因子一定大于等于1。

那么,面对这个被集中化了的记忆负担,该从哪里下刀减肥?

为什么瘦身要瘦在KV缓存上,而不是模型本身

这里要先说清楚一个背景知识。给AI模型"瘦身"加速,业界常见的思路主要有两种。

一种是压缩模型权重本身,比如把原本用16位小数存储的参数,压缩成4位整数,这叫权重量化。另一种是把推理过程中的中间计算结果也压缩,这叫激活值量化。这两种方法在学术界已经被研究得很充分了。

这篇论文的研究者做了一个"曲线对比":他们把早期、中期、晚期三个训练阶段的真实负载抓出来,分别用权重量化、激活值量化、KV缓存量化这几种方案跑一遍,看谁跑得快。结果很明确:在高并发、长对话的场景下,权重量化几乎没有加速效果,有时候反而比不量化还慢。而KV缓存量化,尤其是压到4位整数的INT4,能带来1.5到1.9倍的解码加速。

这个结果其实不难理解,只是容易被忽略。

当GPU上同时跑着几百个对话时,模型权重只需要加载一次,就可以被所有对话共用。但每个对话自己的历史记录是没法共用的,你记得的事情和我记得的事情不是一回事。并发越多,权重的加载成本被摊得越薄,而KV缓存的处理成本,则随着每个对话自己的长度线性增长,谁也替代不了谁。

这就好比一个大型会议室,投影仪(模型权重)只需要开一次机,所有参会者都能看到屏幕。但每个参会者自己的笔记本(KV缓存)必须自己带、自己管。会议室里塞的人越多,投影仪开机的成本摊得越薄,但笔记本的总重量只会越堆越高,这堆行李才是真正让人腰酸背痛的负担。如果只想着给投影仪减重,而不管那堆越积越多的笔记本,瘦身计划注定收效甚微。

所以,结论很清楚:要给异步推理瘦身,刀要砍在KV缓存上。

把精度砍到4位,会出什么乱子

把KV缓存从16位压到8位,研究者发现模型学习的效果几乎没有损失。但如果继续激进地压到4位整数呢?这时候麻烦来了。

这里要先插入一个关键背景:在强化学习训练里,AI生成的每一个回答,不只是给人看的最终输出,它同时也是接下来训练这个模型的"教材"。

这就带来一个微妙但致命的问题。如果生成答案时用的数值精度(比如INT4压缩)和训练时用的精度(通常是未压缩的BF16)不一致,那AI在"生成教材"和"学习教材"这两个阶段,看到的世界其实是略微不同的。这种偏差专业上叫采样器失配

采样器失配(Sampler Mismatch):生成答案用的模型(采样器)和后续用来计算训练梯度的模型,在数值计算路径上存在细微差异,导致两边算出的概率不完全一致。

为了纠正这种偏差,业界已经有一种标准做法叫TIS(Token-level Truncated Importance Sampling,词元级截断重要性采样),简单说就是给每个字重新算一个"修正系数",补偿两边概率算得不一样带来的偏差。

论文做了一个关键实验:同样用TIS修正,8位KV缓存训练出来的模型,几乎和不压缩的原始模型(BF16)表现一致。但4位KV缓存训练出来的模型,在数学题测试集MATH-500上,最终比原始模型低了整整5.24个百分点,而且后期本该持续提升的学习曲线,直接停滞不前了。

这说明一件很反直觉的事:事后补救的数学公式,没法完全抹平训练过程中产生的系统性偏差。TIS能修正"这个字的概率算错了多少",但没法修正"因为这个偏差,模型走上了一条本不该走的推理路径,生成了本不该生成的那个回答"。

这就好比考试时你用了一把刻度有点歪的尺子量图形,事后你可以把每个测量值乘以一个修正系数,让数字看起来准确。但如果你因为尺子的误差,一开始就画错了图形的形状,后面再怎么修正数字,也救不回那张已经画歪的图。

这个发现是整篇论文最关键的转折点:单纯追求数值精度的事后修正是不够的,必须从生成过程本身入手,减少偏差的产生,而不是单纯依赖事后打补丁。

KV4-RL的解决方案:把VIP待遇留给最重要的那几个位置

既然全部压到4位会出问题,全部保持8位又损失了大部分加速收益,那有没有折中方案?

研究者的思路是:不是所有位置的历史记录都同等重要。他们借鉴了此前inference领域已有的两个发现:一是注意力汇聚点现象(模型在生成时,总会特别关注序列最开头的几个位置,这几个位置像是整个对话的"锚点"),二是近期上下文更敏感(刚说过的话,比很久以前说过的话,对下一步生成的影响更大)。

基于这两个观察,KV4-RL的设计是:绝大部分历史记录依然用INT4压缩存储,但是序列最开头的16个位置和最近的128个位置,额外用INT8的精度再存一份副本。

这就像公司搬家时打包行李。大部分旧文件可以随便塞进普通纸箱(INT4),反正平时也用不上,压一压没关系。但是你的身份证、工作合同这几份最关键的文件(注意力汇聚点),还有你这周刚处理完、随时可能还要翻出来核对的文件(最近上下文),你会单独用一个结实的文件夹装好(INT8),不会和其他杂物混在一起。如果连身份证都随便塞进普通纸箱压皱了,后续办事肯定要出乱子,但你也没必要把所有旧文件都用高级文件夹装,那样搬家车根本装不下。

实验证明这个思路确实对症下药。用固定144个位置的保护预算做分配实验,发现把16个位置给汇聚点、128个位置给近期上下文,这种搭配比把全部预算都砸在任意单一区域效果更好,相比纯INT4能把关键的数值偏差指标(论文里叫共享前缀条件KL散度)降低7倍。而且这套保护机制不会随着对话变长而占用更多存储,无论对话有多长,额外保护的位置数量始终固定不变。

这里再补充一个术语。

Hadamard旋转:一种数学变换技巧,在量化之前把数值的坐标做一次特殊的线性组合,让原本可能存在的异常大值被"摊薄"分散到各个维度上,从而降低压缩时的精度损失。论文里发现,只对Key(检索键)做这种旋转效果最好,同时对Key和Value(存储值)都做反而没有明显提升。

工程实现上,KV4-RL还做了一个巧妙的设计:INT4存储了完整历史,INT8只存最近和开头的副本,两者是独立的两套缓存,计算注意力的时候分别算,最后用一个数学上严格等价的公式把两边的结果合并起来,不需要把INT4的数据先转换成INT8再计算,这样额外开销被死死限制住了,不会随着对话变长而失控。

真金白银的加速效果

说了这么多设计思路,最终效果到底如何?

论文在Qwen3-8B-Base和Qwen3-4B-Base两个模型上做了完整的端到端训练对比。

表格

模型规模 | 指标 | BF16基线 | KV8 | KV4 | KV4-RL

8B | 累计生成速度 | 1.00× | - | - | 1.80×

8B | 累计单轮训练速度 | 1.00× | - | - | 1.27×

8B | 训练后期(最后50轮)生成速度 | 1.00× | - | - | 1.97×

8B | 六项基准测试平均分 | 52.4% | 52.8% | 47.8% | 52.8%

4B | 六项基准测试平均分 | 47.0% | 46.6% | 46.2% | 46.6%

这组数据里有几个值得细品的点。

首先是加速效果确实显著,8B模型上累计生成速度提升了1.80倍,整个训练流程(包括学习更新这部分没法加速的环节)也提升了1.27倍。更有意思的是,训练进行到后期,因为AI生成的答案越来越长,KV4-RL的加速优势反而越来越明显,从训练开始时的1.45倍涨到最后50轮的1.97倍。这正好印证了前面说的逻辑:对话越长,KV缓存这个瓶颈越突出,压缩的收益也就越大。

其次是精度几乎没有损失。在六项数学测试的综合得分上,KV4-RL和未压缩的BF16基线几乎打平,8B模型上甚至还高出0.4个百分点,而纯粹的4位压缩方案(没有保护机制的KV4)则明显掉队,比基线低了4.6个百分点。

这组对比清楚地说明了一件事:单纯追求压缩比例是没有意义的,真正有价值的是在压缩和保真度之间找到那个恰到好处的平衡点

论文里还有个细节值得一提。到了训练后期,学习更新这一步的耗时占比,从一开始的小头变成了大头,8B模型上最后50轮里,学习计算占了整个训练轮次时间的60.5%。这意味着生成速度被压榨得差不多之后,下一个值得优化的瓶颈,已经转移到了模型更新这一侧,这也是论文作者坦诚指出的局限,KV4-RL解决的只是问题的一半。

写在后面

读完这篇论文,有几个地方让我反复琢磨。

第一个是"异步调度会增加单步负担"这个发现本身。这不是什么高深的新算法,而是对现有系统做了一次非常扎实的账本式分析,用数学证明加真实追踪数据,把一个大家隐约感觉到但没人系统量化过的现象讲清楚了。很多时候,工程上最有价值的突破,不是发明新东西,而是把已经存在、却被忽略的代价算明白。

第二个是TIS失效这件事。论文明确指出,事后的重要性采样修正,只能修正"概率算错了多少",没法修正"采样路径走偏了"。这个区分其实挺深刻的,它提醒我们,很多"打补丁"式的修正方法,解决的是症状层面的问题,而不是根源。如果一个系统在生成数据的源头就有偏差,那指望在后面用一个系数去修正,注定是治标不治本的。

第三个是那个16+128的保护位置分配,固定、不随上下文增长而膨胀。这种"有限预算下做精准投放"的思路,其实在很多资源受限的场景里都适用,不只是AI系统设计。

论文最后提到一个点我觉得值得单独拿出来想一想:现在很多前沿模型都在用更高效的注意力架构(比如混合注意力、局部注意力)来压缩KV缓存本身的开销,但作者认为,这些架构上的进步省下来的空间,最终还是会被更长的推理链、更大的并发数吃回去,同样的压力迟早会在新的技术天花板上重新出现。这个判断挺有意思,技术进步经常不是消灭了某个瓶颈,而是把这个瓶颈推到了一个更高的量级上重新出现。

所以问题可能不是"KV缓存量化能不能解决这个问题",而是"下一次这个瓶颈会以什么新面目再次出现"。

Q&A

Q1:KV4-RL是什么?

A:KV4-RL是KAIST等机构提出的一种强化学习训练加速方案,核心思路是把AI生成答案时用到的KV缓存压缩成4位整数存储,同时对最开头和最近的少量关键位置保留8位精度做保护,从而在不明显损失模型学习效果的前提下,大幅加快异步推理训练的速度。

Q2:为什么异步调度反而会让单步计算变慢?

A:因为异步调度让更多长度不一的对话同时留在系统里继续生成,这会把原本分散在很多轮次里的历史记录处理工作,压缩集中到更少但更重的几轮解码步骤中,导致每一步要处理的KV缓存体积暴涨,单步耗时随之增加,这个现象论文中称为KV集中化。

Q3:为什么不能直接把KV缓存压到4位整数就完事?

A:因为强化学习里AI生成的答案本身就是后续训练用的数据,如果生成时用的数值精度和训练时不一致,会导致采样路径发生系统性偏差,即便用重要性采样做事后修正也无法完全弥补,实验显示纯4位压缩会让模型学习效果明显掉队,最终综合得分比未压缩方案低4.6个百分点。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
湘雅二院“虾滑论文”火了:湖南写成人类,一厘米刻12毫米,还拿了五项基金!

湘雅二院“虾滑论文”火了:湖南写成人类,一厘米刻12毫米,还拿了五项基金!

迷世书童
2026-11-18 00:05:12
陆毅18岁女儿贝儿官宣签约百沐娱乐,正式以歌手出道!一波星二代扎堆涌来

陆毅18岁女儿贝儿官宣签约百沐娱乐,正式以歌手出道!一波星二代扎堆涌来

露珠聊影视
2026-11-18 14:36:57
克里米亚大桥约6000吨主拱垮塌,多久能恢复通行?

克里米亚大桥约6000吨主拱垮塌,多久能恢复通行?

小怪吃美食
2026-11-18 05:36:39
告诉大家一个很玄学的事,家里谁做饭,就决定了这家的福气

告诉大家一个很玄学的事,家里谁做饭,就决定了这家的福气

麓谷隐士
2026-11-18 00:05:08
刚刚!苹果新品突然上架,真的心动啊

刚刚!苹果新品突然上架,真的心动啊

科技堡垒
2026-11-18 08:00:35
波切蒂诺第一刀!曼联 3650 万水货直接弃用!冬窗或被清洗

波切蒂诺第一刀!曼联 3650 万水货直接弃用!冬窗或被清洗

澜归序
2026-11-18 09:41:57
2012年,太原公安局长李亚力想保酒驾儿子,偷偷将89mg酒精检测改成66mg,甚至抹掉袭警情节

2012年,太原公安局长李亚力想保酒驾儿子,偷偷将89mg酒精检测改成66mg,甚至抹掉袭警情节

磊子讲史
2026-11-13 17:21:50
普京点赞深圳:最现代化、最具活力的大都市

普京点赞深圳:最现代化、最具活力的大都市

新华社
2026-11-18 12:45:26
特朗普启程前往深圳,登机前对着镜头做出标志性挥拳动作

特朗普启程前往深圳,登机前对着镜头做出标志性挥拳动作

极目新闻
2026-11-18 15:16:32
105-93!活塞终结马刺12连胜,坎宁安27分,文班空砍25+18

105-93!活塞终结马刺12连胜,坎宁安27分,文班空砍25+18

全景体育V
2026-11-18 11:37:58
大厂主动报案,副总裁被警方带走

大厂主动报案,副总裁被警方带走

中国新闻周刊
2026-11-17 23:06:06
补钾就是保命,立冬后多吃这8种,腿脚有劲,心脏也少受累高钾菜

补钾就是保命,立冬后多吃这8种,腿脚有劲,心脏也少受累高钾菜

美食店主
2026-11-17 00:26:14
三天票房247元,仅6人观影,三大实力派助力没用,本周最惨电影诞生

三天票房247元,仅6人观影,三大实力派助力没用,本周最惨电影诞生

影视高原说
2026-11-18 14:43:37
中足联重罚中青赛冲突:罚浙江5万申花3万赛区10万

中足联重罚中青赛冲突:罚浙江5万申花3万赛区10万

体坛周报
2026-11-18 09:41:21
湖南一女子3岁走失,40岁成为千万富豪后,登上电视寻亲。不料,亲生父母无人到场,得知内情她崩溃大哭

湖南一女子3岁走失,40岁成为千万富豪后,登上电视寻亲。不料,亲生父母无人到场,得知内情她崩溃大哭

扶苏聊历史
2026-11-18 14:57:07
新华社消息|外交部:中俄美元首将就事关全球和平的重要问题深入交换意见

新华社消息|外交部:中俄美元首将就事关全球和平的重要问题深入交换意见

新华社
2026-11-18 15:44:19
台上卖力地表演,台下的看客不买账了!

台上卖力地表演,台下的看客不买账了!

胖胖说他不胖
2026-11-17 11:50:11
南越文王只剩一堆残渣,却留下个名字奇怪的明星文物:人操蛇?

南越文王只剩一堆残渣,却留下个名字奇怪的明星文物:人操蛇?

收藏大视界
2026-11-17 23:09:32
福建省代省长郭宁宁主持召开全省食品安全暨“校园餐”整治专题会议:要保持高压严打态势,坚持执法必严、违法必究,重拳惩治违法违规行为

福建省代省长郭宁宁主持召开全省食品安全暨“校园餐”整治专题会议:要保持高压严打态势,坚持执法必严、违法必究,重拳惩治违法违规行为

新京报政事儿
2026-11-18 10:12:02
湖人9连胜!新援格莱姆斯轰47分创多项神迹:比肩科比+超东契奇

湖人9连胜!新援格莱姆斯轰47分创多项神迹:比肩科比+超东契奇

Emily说个球
2026-11-18 15:08:35
2026-11-18 18:15:00
科技行者 incentive-icons
科技行者
科技正在如何变革商业世界
10607文章数 572关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

特朗普抵达深圳出席APEC会议 年内第二次访华

头条要闻

特朗普抵达深圳出席APEC会议 年内第二次访华

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

认亲被嘲讽后郭德纲委托律师发声明

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

房产
本地
艺术
时尚
手机

房产要闻

效果图曝光!三亚超级万象城,长这样!

本地新闻

乌兰察布:以前种土豆,现在种Token

艺术要闻

吴冠中 一幅《老重庆》,951万港元!

奶瓶界爱马仕,批量收割中产父母

手机要闻

苹果折叠屏陷入两难 博主:iPhone Duo 2外屏上Face ID 体验会很割裂

无障碍浏览 进入关怀版