vLLM 0.34.0 把 KV 缓存加载的单次调度时间,从 47.2ms 压到了 5.4ms。
![]()
按这个数字看,提升幅度约 8-10 倍。对做 LLM 推理优化的人来说,调度环节的这点时间,直接关系到请求排队的节奏。
这次改动落在 KV 缓存加载上。缓存加载是推理服务里绕不开的一步,单次调度省下的几十毫秒,会随着请求量累积。
版本号只前进了一小格,数字变化却很直接:47.2ms 到 5.4ms。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.