网易首页 > 网易号 > 正文 申请入驻

颠覆!NVIDIA发明新技术KVTC:内存使用量缩减20倍

0
分享至

快科技3月22日消息,NVIDIA研究人员推出一项全新技术KVTC(KV快取转换编码),能把大型语言模型(LLM)追踪对话历史的内存用量,最高缩减20倍,而且不用修改模型本身。

这一突破有望解决大型语言模型长对话推理时的内存不够用问题,大大降低企业使用AI的硬件成本,同时还能把模型首次生成回应的时间,最高提速8倍。

简单来说,KVTC技术的核心就是压缩大型语言模型背后的KV缓存——它相当于AI模型的"短期记忆"。我们可以把KV缓存理解成学生记笔记:模型处理对话时,会把关键信息(也就是Key和Value)记下来,下次生成回应时,不用从头重新计算整段对话,响应速度就能大幅提升。

但问题是,对话越长,这份"笔记"就越大,甚至会膨胀到几个GB,占用大量GPU内存,反而拖慢模型运行、限制其处理能力。

NVIDIA资深深度学习工程师Adrian Lancucki表示:"大型语言模型进行推论时,性能瓶颈往往不在运算能力,而在GPU内存。"那些暂时不用的KV缓存,会一直占用宝贵的GPU资源,逼得系统只能把它们转移到CPU内存或硬盘里,这样不仅会增加数据传输的负担,还可能出现新的卡顿问题,这些额外成本最终也会体现在企业的使用费用中。

和现有压缩技术相比,KVTC没有那些明显的局限,它借鉴了我们熟悉的JPEG图片压缩思路,通过"主成分分析、自适应量化、熵编码"三个简单步骤,就能实现高效压缩。

更方便的是,这项技术不用改动模型的核心设置和代码,属于"非侵入式"设计,企业拿来就能快速部署。它的核心优势是,能抓住KV缓存"数据高度相关"的特点,在保留关键信息的同时,去掉冗余数据,而且解压时可以分块、逐层进行,不会影响模型实时回应。

多轮测试显示,KVTC的表现远超现有主流方法。在参数量从15亿到700亿的多种模型(包括Llama 3系列、R1-Qwen 2.5等)上,即便将内存压缩20倍,模型准确率也几乎不受影响,损失不到1%,与未压缩时相差无几;而传统压缩方法仅压缩5倍,就会出现明显的准确率下降。

另外,在H100 GPU上处理8000个Token的提示时,不使用KVTC需要3秒才能生成第一个回应,使用后仅需380毫秒,提速整整8倍。

需要注意的是,KVTC更适合长对话、多轮互动场景,比如编程助手、迭代式代理推理等,若对话较短,很难发挥其压缩价值。

目前,NVIDIA正计划将这项技术整合进Dynamo框架的KV块管理器,使其能与vLLM等主流开源推论引擎兼容。

业内人士认为,随着大型语言模型可处理的对话长度不断增加,KVTC这类标准化压缩技术,未来可能会像视频压缩一样普及,助力AI更广泛地落地应用。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
大幂幂不是白叫的

大幂幂不是白叫的

草莓解说体育
2026-10-24 07:40:22
2018年末的剧本:美联储持续加息,美股从9月高点暴跌20%,迫使美联储1月“转向”

2018年末的剧本:美联储持续加息,美股从9月高点暴跌20%,迫使美联储1月“转向”

华尔街见闻官方
2026-11-21 13:22:36
数万家智能工厂背后,AI到底改变了什么?

数万家智能工厂背后,AI到底改变了什么?

新华社
2026-11-20 20:10:16
1879年,浙江巡抚谭钟麟午睡醒来,经过通房丫鬟的房间时与她有了关系;正是这一次,这名丫鬟后来生下了一位国民政府主席

1879年,浙江巡抚谭钟麟午睡醒来,经过通房丫鬟的房间时与她有了关系;正是这一次,这名丫鬟后来生下了一位国民政府主席

人生录
2026-11-20 00:05:12
1979年,翁美玲与男友罗柏前往威尼斯出游,1米58的她穿吊带裙与罗柏牵手漫步,镜头下甜蜜画面却藏着不为人知的结局

1979年,翁美玲与男友罗柏前往威尼斯出游,1米58的她穿吊带裙与罗柏牵手漫步,镜头下甜蜜画面却藏着不为人知的结局

磊子讲史
2026-11-04 15:53:33
连遭三轮袭击,克里米亚大桥已很难修复,俄军开始疯狂报复

连遭三轮袭击,克里米亚大桥已很难修复,俄军开始疯狂报复

兵国大事
2026-11-20 16:37:56
中央政法委下死命令!严厉查处这些行为,一起都不放过!

中央政法委下死命令!严厉查处这些行为,一起都不放过!

职场资深秘书
2026-11-21 16:13:08
1999年,赖昌星带着3700万元进京,想打点海关总署副署长牟新生,结果连面都没见上;回去后他对厦门海关关长放话:以后想办法把他除掉

1999年,赖昌星带着3700万元进京,想打点海关总署副署长牟新生,结果连面都没见上;回去后他对厦门海关关长放话:以后想办法把他除掉

人生录
2026-11-06 07:30:25
11月27日开始正式落地!有线电视迎来新规,每家每户都要了解清楚

11月27日开始正式落地!有线电视迎来新规,每家每户都要了解清楚

浩渺青史
2026-11-20 01:07:29
克里米亚大桥完全断了,大帝不想打了,但谈的过程川普想重构北约

克里米亚大桥完全断了,大帝不想打了,但谈的过程川普想重构北约

邵旭峰域
2026-11-20 15:03:48
论三大淫妇的饥渴程度:潘金莲初会西门庆,一把将西门庆搂抱放倒

论三大淫妇的饥渴程度:潘金莲初会西门庆,一把将西门庆搂抱放倒

覃仕勇说史
2026-11-13 11:01:08
张雨绮直播跳操,穿短裙长靴好靓女,网友:这身材真没得说

张雨绮直播跳操,穿短裙长靴好靓女,网友:这身材真没得说

手工制作阿歼
2026-11-22 00:04:10
资深演员出门买晚餐遇车祸!经纪人:意外受伤本不致命,数日后却突然离世

资深演员出门买晚餐遇车祸!经纪人:意外受伤本不致命,数日后却突然离世

上观新闻
2026-11-21 12:47:37
三分5中0,罚球8中4,正负值全队最低!CBA顶薪后卫,咋成这样了?

三分5中0,罚球8中4,正负值全队最低!CBA顶薪后卫,咋成这样了?

弄月公子
2026-11-21 08:41:11
副厅长,任民办高校党委书记

副厅长,任民办高校党委书记

麦可思研究
2026-11-21 18:11:45
突发暴跌!超29万人爆仓

突发暴跌!超29万人爆仓

中国基金报
2026-11-21 09:22:17
最离谱的搜救,几十人搜山5小时,失踪者就在搜救队里还最卖力

最离谱的搜救,几十人搜山5小时,失踪者就在搜救队里还最卖力

音乐时光的娱乐
2026-11-21 03:47:56
浮嶋敏回应0-5:日本20年前也经历过!盼中国足球能认清差距+反思

浮嶋敏回应0-5:日本20年前也经历过!盼中国足球能认清差距+反思

我爱英超
2026-11-21 17:11:33
IGN:《GTA6》高人气美女很恐怖!杰森躲过一劫

IGN:《GTA6》高人气美女很恐怖!杰森躲过一劫

游民星空
2026-11-20 12:11:29
宋庆龄一辈子没有生养,1981年法医对她的遗体进行解剖检查,这才揭开了她心底最痛苦的隐情

宋庆龄一辈子没有生养,1981年法医对她的遗体进行解剖检查,这才揭开了她心底最痛苦的隐情

扶苏聊历史
2026-11-12 18:31:31
2026-11-22 01:27:00
快科技 incentive-icons
快科技
一起关注每日科技热点
133492文章数 261295关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

房产
亲子
游戏
公开课
军事航空

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

亲子要闻

宝宝必看的5个启蒙动画,豆瓣评分都是在9.0以上

PC Gamer试玩GTA6百小时:双主角出色但任务重复

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版