网易首页 > 网易号 > 正文 申请入驻

vLLM v0.26.0 发布了

0
分享至

Release Note 我扫了一遍,信息量确实不小——411 次提交、212 位贡献者,其中 61 位是第一次参与。

对比一下:v0.25.0 大概 300 次提交,这次直接跳到 411。61 位新面孔这个数字更值得注意——开源社区已经从核心团队维护进入了大规模协作阶段。

DeepSeek-V4 专项优化

vLLM 团队这次对 DeepSeek-V4 做了几处针对性优化:

专用路由内核:端到端 TPOT 提升 2.94%。这个数字对应的是 PR #48660,路由内核的专项调优。

fused_topk_bias:内核提速 1.5 到 2 倍(PR #47463)。

去冗余操作:移除重复的 repeat/copy,端到端 TPOT 再提升 1.8%(PR #48137)。

DeepSeek-V4 是 MoE 架构,专家多、路由逻辑复杂、通信开销大,推理引擎处理起来并不轻松。这几项优化加在一起,实际部署中生成速度会有明显改善。

Inkling 模型家族

v0.26.0 对 Inkling 提供了完整的支持栈:

基础建模(#48799)

分段 CUDA graph(#48822)

Hopper FA4 相对位置注意力(#48858)

MTP=1 投机解码(#48869)

LoRA 支持(#48884)

ModelOpt NVFP4 量化(#48990)

特别是 NVFP4——NVIDIA 的 4-bit 浮点量化格式,可以在不显著损失精度的情况下大幅降低显存占用。如果你在评估 Inkling 模型的部署方案,v0.26.0 是第一个可以认真看的版本。

KV Cache 分层存储

之前的版本里 KV cache offloading 就有了,但一直不太成熟。这次的更新把整个链路补齐了:

完整的 offloading 性能指标监控,包括读写延迟和命中率(#45958、#47666、#47679)

对象存储作为第二级存储,支持云端 S3(#47063、#47274、#48150)

DP 副本感知的分层策略(#47987)

编码器缓存的 CPU offloading(#42433、#47423)

这套组合的意思是:GPU 显存不够时,可以把不常用的 KV cache 放到 CPU 内存甚至远程对象存储,按需取回。并发量大的时候,不需要给每个请求都塞满 GPU 显存。

Rust 前端加入多模态

vLLM 的 Rust 前端之前主要处理文本推理的调度。这次加了视频(#47959)和音频(#48554)的支持,还包括 Seed-OSS 工具解析器(#47741)和原生的 vllm-bench 基准测试工具(#48107)。

Rust 前端的核心优势:用更少的内存和更高的一致性处理并发请求调度。

Transformers 5.13.0

这次迁移到了 Transformers 5.13.0(#47867),涉及的模型有:

Olmo / Olmo2:迁移到新的 Transformers 建模后端(#48100)

MistralLarge3:迁移到 AutoWeightsLoader(#48153)

HunyuanVL:迁移到 transformers 原生 processor(#47872)

三个模型的迁移路径并不完全相同,不是一句"新的 Transformers 建模后端"能概括的。Transformers 5.x 引入了新的 AutoWeightsLoader,模型加载方式变了,vLLM 需要逐个适配所有依赖这条链路的模型。脏活累活,但做完之后后续支持新模型会更顺畅。

我的判断

411 次提交不是小数字。从 DeepSeek-V4 的专项调优、Inkling 的全栈支持、到 KV cache 分层存储的完善,这个版本确实有实质内容。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
李莉同志简历,因多次预判到美军动作,被美国列入制裁黑名单

李莉同志简历,因多次预判到美军动作,被美国列入制裁黑名单

谈史论天地
2026-04-18 10:35:33
一只20万还抢不到的猴子,凭什么“卡住”创新药的脖子?

一只20万还抢不到的猴子,凭什么“卡住”创新药的脖子?

快刀财经
2026-07-26 22:14:34
妻子将发给初恋的消息误发给我,我秒回:辛苦了,一女侍两夫

妻子将发给初恋的消息误发给我,我秒回:辛苦了,一女侍两夫

千秋文化
2026-06-03 20:16:23
LV大秀的惨淡收场!明星集体跑路闭门硬撑,起诉的架势反而更凶了

LV大秀的惨淡收场!明星集体跑路闭门硬撑,起诉的架势反而更凶了

阿握聊事
2026-07-25 18:31:04
家庭心理学:生儿子的家庭,只要儿子结婚后分开住,不出四载,父母和儿子基本就处成了亲戚

家庭心理学:生儿子的家庭,只要儿子结婚后分开住,不出四载,父母和儿子基本就处成了亲戚

心理观察局
2026-07-10 06:55:05
据报道:沃兹离开苹果40多年,至今每周仍领50美元工资,总额已超10万美元

据报道:沃兹离开苹果40多年,至今每周仍领50美元工资,总额已超10万美元

灰度测试中
2026-07-24 19:29:05
《指环王》剧集曝第三季预告:索隆终铸魔戒,精灵女王情归故人,甘道夫觉醒

《指环王》剧集曝第三季预告:索隆终铸魔戒,精灵女王情归故人,甘道夫觉醒

自愈小日子
2026-07-26 01:45:51
1天4个瓜!国外生子、被抓进去、自曝怀双胎、韩红最让人意外

1天4个瓜!国外生子、被抓进去、自曝怀双胎、韩红最让人意外

三石记
2026-06-25 11:54:09
北京五年蓝图曝光:二环五环大更新,房价床位有保障

北京五年蓝图曝光:二环五环大更新,房价床位有保障

石辰搞笑日常
2026-07-27 00:50:22
小某书在批量生产“擦边”跑步网红

小某书在批量生产“擦边”跑步网红

马拉松跑步健身
2026-07-04 20:33:50
周星驰太假了!

周星驰太假了!

老方
2026-07-25 20:42:22
《功夫女足》票房大爆!华谊后悔,向太眼红,唯独黄圣依进退两难

《功夫女足》票房大爆!华谊后悔,向太眼红,唯独黄圣依进退两难

阿废冷眼观察所
2026-07-26 19:56:06
猛龙介入76人?美媒策划三方地震交易:恩比德联手伦纳德组三巨头

猛龙介入76人?美媒策划三方地震交易:恩比德联手伦纳德组三巨头

赛场名场面
2026-07-27 02:16:27
武汉三镇保级形势严峻!8月5战场场硬仗,连战两个保级竞争对手

武汉三镇保级形势严峻!8月5战场场硬仗,连战两个保级竞争对手

体育世界
2026-07-26 17:51:54
30年前,香港GDP是上海的5倍,东京GDP是上海的4倍,现在呢?

30年前,香港GDP是上海的5倍,东京GDP是上海的4倍,现在呢?

抽象派大师
2026-07-26 17:57:57
国企改革旧账全面倒查,3类违规主体迎来清算!

国企改革旧账全面倒查,3类违规主体迎来清算!

细说职场
2026-07-26 22:27:02
又一18年老牌旅行社暴雷!大量老人被套几十万,养老钱难追回

又一18年老牌旅行社暴雷!大量老人被套几十万,养老钱难追回

离离言几许
2026-07-26 17:44:50
马斯克和范冰冰什么关系?偷税8亿的范冰冰,如今在国外重回巅峰

马斯克和范冰冰什么关系?偷税8亿的范冰冰,如今在国外重回巅峰

追风小狗
2024-11-12 21:52:56
港媒曝CoCo猛料:曾冻卵想为谢贤生娃,欠巨债后,四哥卖大劳帮她

港媒曝CoCo猛料:曾冻卵想为谢贤生娃,欠巨债后,四哥卖大劳帮她

胡一舸南游y
2026-07-22 16:07:23
台湾20万人涌上凯道 郑丽文怒轰赖清德“没担当”

台湾20万人涌上凯道 郑丽文怒轰赖清德“没担当”

看看新闻Knews
2026-07-26 12:25:03
2026-07-27 04:04:49
呼呼历史论
呼呼历史论
分享有趣的历史
818文章数 17643关注度
往期回顾 全部

科技要闻

传DeepSeek 100亿元新一轮融资突然放缓

头条要闻

邓煜舅舅发声:我们全家学霸 他那辈全部保送顶尖学府

头条要闻

邓煜舅舅发声:我们全家学霸 他那辈全部保送顶尖学府

体育要闻

詹姆斯的最后一集,依旧最艰难的路?

娱乐要闻

演员王建隆在家中去世,年仅43岁

财经要闻

232亿,巴黎水被卖了

汽车要闻

轿跑姿态+大空间/标配655km续航 奇瑞风云A9置换价10.68万起

态度原创

时尚
数码
房产
本地
健康

7年亏2亿,“败家女”冉莹颖,太冤了

数码要闻

古尔曼:苹果智能眼镜计划最早在明年WWDC27上亮相、同年秋季发售

房产要闻

37人抢1套房…海棠湾资产拍卖,爆了!

本地新闻

跟着影视去旅行:西游篇

教你三步快速识别中风

无障碍浏览 进入关怀版