网易首页 > 网易号 > 正文 申请入驻

NVIDIA港大MIT联合推出Fast-dLLM v2:端到端吞吐量提升2.5倍

0
分享至

自回归(AR)大语言模型逐 token 顺序解码的范式限制了推理效率;扩散 LLM(dLLM)以并行生成见长,但过去难以稳定跑赢自回归(AR)模型,尤其是在 KV Cache 复用、和 可变长度 支持上仍存挑战。

Fast-dLLM v2给出了一条务实路线:将预训练 AR 模型适配为适配为能并行解码的 Block-dLLM—— 且只需~1B tokens 量级的微调即可达到 “无损” 迁移,不必训练数百 B tokens(如 Dream 需~580B tokens)。在 A100/H100 上,它在保持精度的同时,将端到端吞吐显著拉高,最高可达 2.5×

  • 作者单位:HKU、NVIDIA、MIT。
  • 论文链接:https://arxiv.org/pdf/2509.26328
  • 项目网站链接:https://nvlabs.github.io/Fast-dLLM/v2/
  • 代码链接:https://github.com/NVlabs/Fast-dLLM

核心看点

  • 少量数据适配(~1B tokens):已有的 AR 模型(如 Qwen2.5-Instruct 1.5B/7B)用约 1B tokens 的微调就能适配成 Block Diffusion LLM,不必训练数百 B tokens(如 Dream 需~580B tokens)。
  • 架构上 “AR 友好”: 设计上 块内双向、块间因果;配合互补掩码与 token-shift,让模型既保留 AR 的语义组织与可变长度能力,又获得块内并行带来的效率增益。迁移过程更自然、数据效率高。
  • 层级缓存 + 并行解码:块级 KV Cache + 子块 DualCache,配合置信度阈值的并行解码,端到端最高 2.5× 提速。
  • 大模型验证:在 7B 规模上保持与 AR 相当的生成质量下,吞吐对比 Qwen2.5-7B-Instruct 提升 2.54×。

原理与做法:从 AR 到 Block Diffusion

1)块式扩散与 AR - 友好注意力

Fast-dLLM v2 按固定块大小把序列切成若干块:块内双向注意力以并行去噪,块间保持左到右的因果关系,从而既能并行、又能沿用 AR 的语义组织、可变长度和 KV Cache;配合互补掩码(complementary masking)与 token-shift,保证每个 token 都在 “可见 / 被遮” 两种视角下学习,稳定恢复 AR 语义表征。

2)层级缓存(Hierarchical Cache)

  • 块级缓存:已解码块的 KV 直接复用,天然支持 KV Cache。
  • 子块缓存(DualCache):在部分解码的当前块内部,同时缓存前缀与后缀的 KV 激活,减少迭代去噪揭示 / 复原时的重复计算,贴合并行细化流程。

3)置信度感知的并行解码

延续 v1 的思路:当某位置的预测置信度超过阈值(如 0.9),即可并行确定多个 token,其余不确定位置保留待后续细化。在 GSM8K 上,阈值 0.9 时吞吐从 39.1→101.7 tokens/s,提速约 2.6×,精度影响可忽略。

性能结果

  • 端到端加速:综合实验显示,对标准 AR 解码最高 2.5× 提速,同时维持生成质量。
  • 7B 规模吞吐与精度:在 A100 上,Fast-dLLM v2(7B)吞吐为 Qwen2.5-7B-Instruct 的 2.54×;同时对比 Fast-dLLM-LLaDA 还有 +5.2% 的准确率提升(GSM8K)。
  • Batch / 硬件可扩展性:在 A100/H100 上随 batch 增大,扩散解码的并行优势更明显;A100 上可达~1.5× 吞吐加速,H100 上最高可达~1.8× 加速。

  • Benchmark 综合得分:
  • 1.5B:平均分45.0,超过 Qwen2.5-1.5B 与 Qwen2.5-1.5B-Nemo-FT(使用相同的 LLaMA-Nemotron 后训练数据集上对 Qwen 做的标准 NTP 微调 baseline);在同量级(≈1B 规模)的扩散类与 NTP 训练的 AR 类模型里,属于新的 SOTA。
  • 7B:平均分60.3,超过 Qwen2.5-7B-Nemo-FT(59.6) 和 Dream(57.6);多数单项基准上持平或更好。评测覆盖 HumanEval/MBPP、GSM8K/MATH、MMLU/GPQA、IFEval 等多项基准。

训练成本

数据 / 算力成本:以~1B tokens 量级微调把 AR 模型适配为 Block Diffusion LLM(对比 Dream 的~500B tokens),门槛显著降低;论文给出了 Qwen2.5-Instruct 1.5B/7B 在 64×A100 上的具体训练步数与配置,只需要几个小时即可完成训练,可复现性强

总结

Fast-dLLM v2 提供了一条务实路线:用很少的数据(~1B tokens)把 AR 模型适配为 Block Diffusion LLM,相较等规模 AR 的端到端吞吐量约提升 2.5×,精度保持可比,并且关键开关(块大小、阈值、缓存)都能工程化地按目标调优,这是一个成本与收益比较均衡的解法。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
毛主席笑问尼泊尔首相,珠峰干脆全给你?反问后甩出更高明方案

毛主席笑问尼泊尔首相,珠峰干脆全给你?反问后甩出更高明方案

纪史行者
2026-09-16 06:25:03
美国尴尬了,打压长江存储毫无作用,反杀到全球第3名了

美国尴尬了,打压长江存储毫无作用,反杀到全球第3名了

互联网.乱侃秀
2026-11-20 09:52:22
3-1横扫!男单爆大冷!就在刚刚,WTT星球赛:世界第228名掀翻世界第14!国乒18岁削球手强势崛起:连赢5场闪耀全场,黄友政一输再输

3-1横扫!男单爆大冷!就在刚刚,WTT星球赛:世界第228名掀翻世界第14!国乒18岁削球手强势崛起:连赢5场闪耀全场,黄友政一输再输

锐评利物浦
2026-11-20 10:45:52
俄桥被炸不到1天,基辅断水断电,小泽紧急求援,只得到美方指责

俄桥被炸不到1天,基辅断水断电,小泽紧急求援,只得到美方指责

史智文道
2026-11-20 09:32:08
又一名电诈头目落网!这回更让人震惊,竟然不是大家熟悉的缅北

又一名电诈头目落网!这回更让人震惊,竟然不是大家熟悉的缅北

人生录
2026-11-02 09:08:26
判得漂亮!重庆83岁老人确诊宫颈癌晚期,在疼痛科住院期间,趁女儿和儿子换班的十几分钟,偷偷从卫生间窗户跳下身亡。

判得漂亮!重庆83岁老人确诊宫颈癌晚期,在疼痛科住院期间,趁女儿和儿子换班的十几分钟,偷偷从卫生间窗户跳下身亡。

回京历史梦
2026-11-13 10:27:27
完蛋!澳洲全面恶化,1.2万企业倒闭,超1200万澳人生活全面崩塌! 企业大裁员失业飙升至4.9%!

完蛋!澳洲全面恶化,1.2万企业倒闭,超1200万澳人生活全面崩塌! 企业大裁员失业飙升至4.9%!

澳洲财经见闻
2026-11-20 03:12:52
网传物业费会成为压死失业人群的最后一根稻草…

网传物业费会成为压死失业人群的最后一根稻草…

慧翔百科
2026-11-12 11:33:59
54年来头一遭,打破美国总统常规,特朗普在深圳究竟看到了什么?

54年来头一遭,打破美国总统常规,特朗普在深圳究竟看到了什么?

果妈聊娱乐
2026-11-20 08:06:10
“才19岁,我的人生就到头了”刷屏!女生吃变质榴莲崩溃痛哭:压垮普通人的,从来不是什么天大的坎

“才19岁,我的人生就到头了”刷屏!女生吃变质榴莲崩溃痛哭:压垮普通人的,从来不是什么天大的坎

世界圈
2026-11-11 18:02:00
我退休金7千,存款有100万,血的教训告诉我,不要和谁上演黄昏恋

我退休金7千,存款有100万,血的教训告诉我,不要和谁上演黄昏恋

白云故事
2025-05-27 08:05:08
韩国教授坦言:放眼全球,唯独韩国瞧不起中国;而在中国人眼里,压根没有韩国的位置

韩国教授坦言:放眼全球,唯独韩国瞧不起中国;而在中国人眼里,压根没有韩国的位置

z千年历史老号
2026-10-08 17:02:34
云南女赌王汪利娟,横行霸道数十年,因惹到一男子最终覆灭

云南女赌王汪利娟,横行霸道数十年,因惹到一男子最终覆灭

天梦见证
2025-02-17 21:06:42
债基爆亏37%?民生加银回应来了,为优化客户体验,将加强投资者教育...

债基爆亏37%?民生加银回应来了,为优化客户体验,将加强投资者教育...

一地基毛
2026-11-19 19:37:11
省下 1 亿!弗里克神操作血赚!巴萨挖到世界级神锋

省下 1 亿!弗里克神操作血赚!巴萨挖到世界级神锋

澜归序
2026-11-20 09:46:18
1600万网红发避雷视频,阿那亚火速处置,涉事门店直接关停

1600万网红发避雷视频,阿那亚火速处置,涉事门店直接关停

房产衫哥
2026-11-18 08:09:34
iPhone Duo二代再曝光,设计又有新反转?

iPhone Duo二代再曝光,设计又有新反转?

全是技能
2026-11-18 17:31:24
天津工业大学在本地人的鄙夷下,逐渐成为大多数人望其项背的高校

天津工业大学在本地人的鄙夷下,逐渐成为大多数人望其项背的高校

博学的小扒菜
2026-11-19 23:55:04
越南领导人很焦虑:和中国一比较才发现,原来我们落后了这么多

越南领导人很焦虑:和中国一比较才发现,原来我们落后了这么多

一簌月光
2026-09-12 08:27:02
Anthropic首秀冲高回落, 引发美股大跌, 经济学家警告:AI行情或终结

Anthropic首秀冲高回落, 引发美股大跌, 经济学家警告:AI行情或终结

每日经济新闻
2026-11-20 08:55:21
2026-11-20 11:52:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14517文章数 142761关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

手机
教育
旅游
公开课
军事航空

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版