网易首页 > 网易号 > 正文 申请入驻

NVIDIA港大MIT联合推出Fast-dLLM v2:端到端吞吐量提升2.5倍

0
分享至

自回归(AR)大语言模型逐 token 顺序解码的范式限制了推理效率;扩散 LLM(dLLM)以并行生成见长,但过去难以稳定跑赢自回归(AR)模型,尤其是在 KV Cache 复用、和 可变长度 支持上仍存挑战。

Fast-dLLM v2给出了一条务实路线:将预训练 AR 模型适配为适配为能并行解码的 Block-dLLM—— 且只需~1B tokens 量级的微调即可达到 “无损” 迁移,不必训练数百 B tokens(如 Dream 需~580B tokens)。在 A100/H100 上,它在保持精度的同时,将端到端吞吐显著拉高,最高可达 2.5×

  • 作者单位:HKU、NVIDIA、MIT。
  • 论文链接:https://arxiv.org/pdf/2509.26328
  • 项目网站链接:https://nvlabs.github.io/Fast-dLLM/v2/
  • 代码链接:https://github.com/NVlabs/Fast-dLLM

核心看点

  • 少量数据适配(~1B tokens):已有的 AR 模型(如 Qwen2.5-Instruct 1.5B/7B)用约 1B tokens 的微调就能适配成 Block Diffusion LLM,不必训练数百 B tokens(如 Dream 需~580B tokens)。
  • 架构上 “AR 友好”: 设计上 块内双向、块间因果;配合互补掩码与 token-shift,让模型既保留 AR 的语义组织与可变长度能力,又获得块内并行带来的效率增益。迁移过程更自然、数据效率高。
  • 层级缓存 + 并行解码:块级 KV Cache + 子块 DualCache,配合置信度阈值的并行解码,端到端最高 2.5× 提速。
  • 大模型验证:在 7B 规模上保持与 AR 相当的生成质量下,吞吐对比 Qwen2.5-7B-Instruct 提升 2.54×。

原理与做法:从 AR 到 Block Diffusion

1)块式扩散与 AR - 友好注意力

Fast-dLLM v2 按固定块大小把序列切成若干块:块内双向注意力以并行去噪,块间保持左到右的因果关系,从而既能并行、又能沿用 AR 的语义组织、可变长度和 KV Cache;配合互补掩码(complementary masking)与 token-shift,保证每个 token 都在 “可见 / 被遮” 两种视角下学习,稳定恢复 AR 语义表征。

2)层级缓存(Hierarchical Cache)

  • 块级缓存:已解码块的 KV 直接复用,天然支持 KV Cache。
  • 子块缓存(DualCache):在部分解码的当前块内部,同时缓存前缀与后缀的 KV 激活,减少迭代去噪揭示 / 复原时的重复计算,贴合并行细化流程。

3)置信度感知的并行解码

延续 v1 的思路:当某位置的预测置信度超过阈值(如 0.9),即可并行确定多个 token,其余不确定位置保留待后续细化。在 GSM8K 上,阈值 0.9 时吞吐从 39.1→101.7 tokens/s,提速约 2.6×,精度影响可忽略。

性能结果

  • 端到端加速:综合实验显示,对标准 AR 解码最高 2.5× 提速,同时维持生成质量。
  • 7B 规模吞吐与精度:在 A100 上,Fast-dLLM v2(7B)吞吐为 Qwen2.5-7B-Instruct 的 2.54×;同时对比 Fast-dLLM-LLaDA 还有 +5.2% 的准确率提升(GSM8K)。
  • Batch / 硬件可扩展性:在 A100/H100 上随 batch 增大,扩散解码的并行优势更明显;A100 上可达~1.5× 吞吐加速,H100 上最高可达~1.8× 加速。

  • Benchmark 综合得分:
  • 1.5B:平均分45.0,超过 Qwen2.5-1.5B 与 Qwen2.5-1.5B-Nemo-FT(使用相同的 LLaMA-Nemotron 后训练数据集上对 Qwen 做的标准 NTP 微调 baseline);在同量级(≈1B 规模)的扩散类与 NTP 训练的 AR 类模型里,属于新的 SOTA。
  • 7B:平均分60.3,超过 Qwen2.5-7B-Nemo-FT(59.6) 和 Dream(57.6);多数单项基准上持平或更好。评测覆盖 HumanEval/MBPP、GSM8K/MATH、MMLU/GPQA、IFEval 等多项基准。

训练成本

数据 / 算力成本:以~1B tokens 量级微调把 AR 模型适配为 Block Diffusion LLM(对比 Dream 的~500B tokens),门槛显著降低;论文给出了 Qwen2.5-Instruct 1.5B/7B 在 64×A100 上的具体训练步数与配置,只需要几个小时即可完成训练,可复现性强

总结

Fast-dLLM v2 提供了一条务实路线:用很少的数据(~1B tokens)把 AR 模型适配为 Block Diffusion LLM,相较等规模 AR 的端到端吞吐量约提升 2.5×,精度保持可比,并且关键开关(块大小、阈值、缓存)都能工程化地按目标调优,这是一个成本与收益比较均衡的解法。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
今年双11的手机销量TOP10,第一名恐怖如斯

今年双11的手机销量TOP10,第一名恐怖如斯

刘奔跑
2026-11-15 01:10:10
张恩华儿子:我妈说马马杜的头球没爸爸那下漂亮

张恩华儿子:我妈说马马杜的头球没爸爸那下漂亮

懂球帝
2026-11-16 15:53:13
重大资产重组!000831,复牌涨停

重大资产重组!000831,复牌涨停

证券时报
2026-11-16 10:36:08
服务费涨50%,车主遭“背刺”,充电桩涨价潮来了

服务费涨50%,车主遭“背刺”,充电桩涨价潮来了

李砍柴
2026-11-13 22:42:36
让人揪心!水均益自曝经常和朋友们到刘欢家彻夜喝酒聊天,不知他已患癌14年

让人揪心!水均益自曝经常和朋友们到刘欢家彻夜喝酒聊天,不知他已患癌14年

小鋭有话说
2026-11-15 20:44:09
英伟达这一仗打完,美方至少50年内都无法在芯片上锁死中国。

英伟达这一仗打完,美方至少50年内都无法在芯片上锁死中国。

回京历史梦
2026-11-14 09:08:15
U19国足VS韩国,谁能夺熊猫杯冠军?国足VS巴林,邵佳一拔苗助长

U19国足VS韩国,谁能夺熊猫杯冠军?国足VS巴林,邵佳一拔苗助长

体育大学僧
2026-11-16 09:52:35
安倍怕是要气得从坟里爬出来。真的。他老婆安倍昭惠,在他走后,小日子过得那叫一个滋润。

安倍怕是要气得从坟里爬出来。真的。他老婆安倍昭惠,在他走后,小日子过得那叫一个滋润。

回京历史梦
2026-11-05 00:00:04
演员吴彦祖现身街头邀请路人一同吃饭遭拒绝,当事人回应:“我真的肠子都悔青了”

演员吴彦祖现身街头邀请路人一同吃饭遭拒绝,当事人回应:“我真的肠子都悔青了”

韩小娱
2026-11-16 11:58:27
网友偶遇张一鸣、周受资!结伴逛新加坡免费公园

网友偶遇张一鸣、周受资!结伴逛新加坡免费公园

快科技
2026-11-16 09:12:04
2000年,与李泽楷结束恋情的林慧仪独坐车内,情绪崩溃

2000年,与李泽楷结束恋情的林慧仪独坐车内,情绪崩溃

娱你同欢
2026-11-16 19:43:01
5换1!神级双赢交易!已经统治整个东部

5换1!神级双赢交易!已经统治整个东部

篮球实战宝典
2026-11-16 19:24:17
香港知名女星宣布离婚,结束仅两年婚姻,发千字长文控诉丈夫

香港知名女星宣布离婚,结束仅两年婚姻,发千字长文控诉丈夫

不写散文诗
2026-11-15 15:08:37
刘德华认清现实:明年不再接戏,《白衣逆行者》撤档不过问

刘德华认清现实:明年不再接戏,《白衣逆行者》撤档不过问

光影新天地
2026-11-15 17:32:40
大衣哥儿媳妇陈萌是个聪明人,每次大衣哥给陈萌转账,陈萌都会说爸爸手里要是不宽裕就就别给他们钱了,要先顾好自己和妈妈

大衣哥儿媳妇陈萌是个聪明人,每次大衣哥给陈萌转账,陈萌都会说爸爸手里要是不宽裕就就别给他们钱了,要先顾好自己和妈妈

一盅情怀
2026-11-16 16:00:48
这是中国最不要脸的一个群体,无耻之极,世所罕见!

这是中国最不要脸的一个群体,无耻之极,世所罕见!

晓楖科普
2026-11-11 13:09:39
世界首次500强差距断崖:日本149家,美国151家,中国3家,如今呢

世界首次500强差距断崖:日本149家,美国151家,中国3家,如今呢

福建睿平
2026-08-28 07:25:16
判得漂亮!重庆83岁老人确诊宫颈癌晚期,在疼痛科住院期间,趁女儿和儿子换班的十几分钟,偷偷从卫生间窗户跳下身亡。

判得漂亮!重庆83岁老人确诊宫颈癌晚期,在疼痛科住院期间,趁女儿和儿子换班的十几分钟,偷偷从卫生间窗户跳下身亡。

回京历史梦
2026-11-13 10:27:27
陈冠希73岁爸爸陈泽民罕露面,看起来像50岁,比45岁的儿子还“抗老”?

陈冠希73岁爸爸陈泽民罕露面,看起来像50岁,比45岁的儿子还“抗老”?

小徐讲八卦
2026-11-16 09:00:48
lisa表演大玩擦边!钱别腰侧、又脏又油,母亲过往被扒原早有源头

lisa表演大玩擦边!钱别腰侧、又脏又油,母亲过往被扒原早有源头

月光作笺a
2026-11-16 18:21:11
2026-11-16 20:27:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14486文章数 142758关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

两架大型飞机停田野9年锈迹斑斑 机舱有床还有星空顶

头条要闻

两架大型飞机停田野9年锈迹斑斑 机舱有床还有星空顶

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

官宣离婚不到1月,李小冉进医院

财经要闻

10万人逼宫英伟达 黄仁勋要复职了?

汽车要闻

小升级大体验 2027款岚图知音让家用更便捷

态度原创

房产
亲子
本地
旅游
公开课

房产要闻

6.6亿!海口卖地!

亲子要闻

黄桷坪安全微剧场|安全小侦探出发啦(新市场社区)

本地新闻

乌兰察布:以前种土豆,现在种Token

旅游要闻

赴川感受藏乡风情 尼泊尔网红:一见如故 想把中国的美景分享出去

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版