北京
分享至
大模型推理慢，很多时候不是算力不够，而是显存先撑不住了。序列一长、并发一多，键值缓存就会迅速膨胀，成为整个推理链路上的内存瓶颈。
有开发者系统梳理了12种围绕KV缓存的优化技术，按思路分成四大类。它们要解决的问题很一致：把这块内存压下去，让推理跑得更顺。
第一类：把存储本身变小
量化是最直接的做法，用更低的精度保存缓存数据。MLA、GQA、MQA则从注意力结构入手，通过减少需要保存的键值头数量来降低占用。目标都是同一个——同样的上下文，占更少的空间。
第二类：把内存分配得更聪明
分页技术解决的是分配效率问题。缓存不再要求一整块连续空间，而是像操作系统管理内存那样按页组织，减少碎片和浪费。
第三类：把数据挪个地方
卸载的思路是把部分缓存从显存迁移到其他存储层级，用空间换时间，缓解显存压力。
第四类：不是所有缓存都值得留
滑动窗口、稀疏读取、逐出这三种技术，本质上都在做选择性注意力——只保留或读取真正重要的部分，剩下的该丢就丢。
这12种技术并非互斥。真正的问题在于，每个模型和工作负载的瓶颈位置不一样，最优组合也就不同。先找到卡住你的那一环，再决定用哪几种。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
