网易首页 > 网易号 > 正文 申请入驻

微信炼出扩散语言模型,vLLM部署AR模型3倍加速,低熵场景超10倍

0
分享至

腾讯微信 AI 团队提出 WeDLM(WeChat Diffusion Language Model),通过在标准因果注意力下实现扩散式解码,在数学推理等任务上实现相比 vLLM 部署的 AR 模型 3 倍以上加速,低熵场景更可达 10 倍以上,同时保持甚至提升生成质量。

引言

自回归(AR)生成是当前大语言模型的主流解码范式,但其逐 token 生成的特性限制了推理效率。扩散语言模型(Diffusion LLMs)通过并行恢复多个 mask token 提供了一种替代方案,然而在实践中,现有扩散模型往往难以在推理速度上超越经过高度优化的 AR 推理引擎(如 vLLM)。

问题的关键在于:大多数扩散语言模型采用双向注意力机制,这与标准的 KV 缓存机制不兼容,导致并行预测的优势无法转化为实际的速度提升。

近日,腾讯微信 AI 团队提出了WeDLM(WeChat Diffusion Language Model),这是首个在工业级推理引擎(vLLM)优化条件下,推理速度超越同等 AR 模型的扩散语言模型。

  • 论文标题:WeDLM: Reconciling Diffusion Language Models with Standard Causal Attention for Fast Inference
  • 论文作者:刘瑷玮、何明桦、曾少勋、张思钧、张林昊、武楚涵、贾巍、刘源、周霄、周杰(腾讯微信 AI)
  • 项目主页:https://wedlm.github.io
  • GitHub:https://github.com/tencent/WeDLM
  • 模型权重:https://huggingface.co/collections/tencent/wedlm

以下是模型效果:

上图展示了vLLM 部署的 Qwen3-8B-Instruct(左) 与 WeDLM-8B-Instruct(右) 在相同 prompt 下的实时生成对比。可以直观看到,WeDLM 的生成速度明显更快。

核心思路:让扩散解码兼容 KV 缓存

WeDLM 的核心洞察是:mask 恢复并不需要双向注意力。扩散式解码只需要让每个 mask 位置能够访问所有已观测的 token,这完全可以在标准因果注意力下实现。

研究团队提出了一个关键指标 ——前缀可缓存性(Prefix Cacheability):在 KV 缓存解码中,只有形成连续左到右前缀的 token 才能被缓存复用。因此,真正影响推理效率的不是「每步预测多少 token」,而是「有多少预测能够转化为可缓存的前缀」。

图:WeDLM-8B 在数学推理任务上实现约 3 倍加速,同时在准确率和推理速度上显著超越 LLaDA、Dream 等扩散模型。

技术方案

拓扑重排序(Topological Reordering)

WeDLM 通过拓扑重排序在保持因果注意力的同时,让 mask 位置能够访问完整的观测上下文。具体而言,将所有已观测 token 移动到物理序列的前端,同时通过 RoPE 位置编码保留其逻辑位置。这样,在标准因果 mask 下,每个待预测位置都能看到所有已知信息。

双流掩码(Dual-Stream Masking)

为缩小训练与推理的分布差异,WeDLM 设计了双流训练策略:构建一个干净的「记忆流」和一个带 mask 的「预测流」,两者共享位置编码。预测流中的每个 block 从记忆流获取干净的历史上下文,而非可能带噪的中间预测结果。

流式并行解码(Streaming Parallel Decoding)

推理阶段,WeDLM 采用流式并行解码策略:

  • 距离惩罚机制:优先解码靠左的位置,促进左到右的前缀增长
  • 即时缓存:在因果注意力下,已解码 token 立即成为有效缓存
  • 动态滑动窗口:持续填充新的 mask 位置,避免 block 边界的等待开销

图:传统 block 解码需要等待整个 block 完成才能提交,而 WeDLM 的流式解码可以即时提交已解析的前缀。

实验结果

生成质量

WeDLM 基于 Qwen2.5-7B 和 Qwen3-8B 进行训练,使用 100B token 进行继续预训练,10B token 进行 SFT。

在 base 模型评测中,WeDLM-8B 平均得分 74.72,超越 Qwen3-8B(72.61)2.1 个点。在数学推理任务上提升尤为显著:GSM8K 提升 4.2 个点,MATH 提升 2.8 个点。

在 instruct 模型评测中,WeDLM-8B-Instruct 平均得分 77.53,超越 Qwen3-8B-Instruct(75.12)2.4 个点,也领先于 SDAR-8B-Instruct(74.22)等扩散模型。

推理速度

关键亮点:所有速度对比均基于 vLLM 部署的 AR 模型基线,而非未优化的实现。

研究团队在论文中展示了不同熵值场景下的速度差异:

  • 低熵场景(如计数任务):由于输出高度可预测,模型可以大胆并行预测并接受多个 token,实测达到 1673.3 tokens/s
  • 中熵场景(如数学推导):结构化的推理步骤仍然具有较好的可预测性,实测 745.2 tokens/s
  • 高熵场景(如开放问答):语义多样性高,并行接受率下降,实测 197.8 tokens/s

快速上手

安装方式非常简单,只需通过 pip 从 GitHub 安装即可。安装完成后,可使用 Python API 快速调用模型进行推理。详细的使用文档和示例代码请参见项目 GitHub 主页。

总结

WeDLM 的贡献可以归纳为:

  • 因果扩散框架:在标准因果注意力下实现 mask 恢复,天然兼容 KV 缓存和现有推理基础设施(FlashAttention、PagedAttention、CUDA Graphs 等)
  • 流式并行解码:通过距离惩罚和动态滑动窗口,最大化前缀提交率
  • 首次在速度上超越工业级推理引擎部署的 AR 模型:在 vLLM 优化条件下的公平对比中,数学推理实现 3 倍以上加速,低熵场景超过 10 倍

研究团队指出,这项工作表明「前缀可缓存性」应当作为并行文本生成的一等设计目标。未来的扩散语言模型应更多地被视为高效的多 token 预测机制 —— 并行生成 token 的价值,取决于这些 token 能多快地转化为可缓存的前缀。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
深扒之下,终于发现原来王诗龄不仅是“假公主”,还是“假豪门”

深扒之下,终于发现原来王诗龄不仅是“假公主”,还是“假豪门”

橙星文娱
2026-11-14 18:50:40
为什么保罗乔治在76人不行,到凯尔特人就活了?

为什么保罗乔治在76人不行,到凯尔特人就活了?

篮球星播客
2026-11-16 13:48:43
气象局预警!11月可能迎来史上超强厄尔尼诺,家家户户早做打算

气象局预警!11月可能迎来史上超强厄尔尼诺,家家户户早做打算

浩渺青史
2026-11-17 04:33:30
这跟耍流氓啥区别?Lisa美国演出辣眼,和男伴贴身热舞,爸妈捧场

这跟耍流氓啥区别?Lisa美国演出辣眼,和男伴贴身热舞,爸妈捧场

不写散文诗
2026-11-14 19:53:27
安倍怕是要气得从坟里爬出来。真的。他老婆安倍昭惠,在他走后,小日子过得那叫一个滋润。

安倍怕是要气得从坟里爬出来。真的。他老婆安倍昭惠,在他走后,小日子过得那叫一个滋润。

回京历史梦
2026-11-05 00:00:04
50克大金镯子,暴跌27000元

50克大金镯子,暴跌27000元

封面新闻
2026-11-16 18:50:03
1927年,毛泽东被捕后,在被押解去执行死刑的途中,他突然对一名团丁说:“老哥,我腿疼,可能伤筋了!”

1927年,毛泽东被捕后,在被押解去执行死刑的途中,他突然对一名团丁说:“老哥,我腿疼,可能伤筋了!”

扶苏聊历史
2026-11-06 18:18:35
中央亮剑!多地开启机关事业单位大整顿,这几类人受影响最大

中央亮剑!多地开启机关事业单位大整顿,这几类人受影响最大

职场资深秘书
2026-11-16 14:27:40
阿里字节接连出招,WorkBuddy水深火热中

阿里字节接连出招,WorkBuddy水深火热中

人人都是产品经理社区
2026-11-16 16:23:46
伊朗革命卫队指挥官称,伊朗已经研制出等离子导弹,可迅速摧毁敌方电子通讯系统

伊朗革命卫队指挥官称,伊朗已经研制出等离子导弹,可迅速摧毁敌方电子通讯系统

以色列飛飛
2026-11-16 08:30:21
朴树得病很多年了!

朴树得病很多年了!

八卦疯叔
2026-11-16 10:00:58
中共中央书记处书记、国务委员王小洪到四川调研

中共中央书记处书记、国务委员王小洪到四川调研

政知新媒体
2026-11-16 21:47:40
国企迎来倒闭潮?同为“铁饭碗”的电力企业,还能够稳定多久呢?

国企迎来倒闭潮?同为“铁饭碗”的电力企业,还能够稳定多久呢?

午夜搭车a
2026-11-16 16:09:56
多队争抢皮特森!单场60+12+7大杀器有望回归CBA,硬解能力太抢手

多队争抢皮特森!单场60+12+7大杀器有望回归CBA,硬解能力太抢手

林小湜体育频道
2026-11-16 23:37:45
2026年养老金调整通知晚发,退休人员从1月1日起的补发会少吗?

2026年养老金调整通知晚发,退休人员从1月1日起的补发会少吗?

墨兰史书
2026-11-16 04:25:04
14场6罚!洁癖型中锋!恭喜湖人逃过一劫

14场6罚!洁癖型中锋!恭喜湖人逃过一劫

篮球实战宝典
2026-11-16 22:01:48
特朗普知道大势已去,决心办一件实事,世界目光聚焦到欧洲

特朗普知道大势已去,决心办一件实事,世界目光聚焦到欧洲

听风看局
2026-11-16 20:57:17
电动车可能被取代?多地开始大批量投放!新型代步车已经正式登场

电动车可能被取代?多地开始大批量投放!新型代步车已经正式登场

史之铭
2026-11-17 03:45:50
她大概是全地球最“恨”马云的女人,那年支付宝抽奖拿下一个亿,她乐坏了,立马辞掉国企工作满世界飞

她大概是全地球最“恨”马云的女人,那年支付宝抽奖拿下一个亿,她乐坏了,立马辞掉国企工作满世界飞

背包旅行
2026-10-27 12:12:27
一旦恢复该规定,中国结婚率或将大幅上涨,离婚率也会有所下降

一旦恢复该规定,中国结婚率或将大幅上涨,离婚率也会有所下降

福建睿平
2026-10-28 07:23:25
2026-11-17 05:19:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14488文章数 142758关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

官宣离婚不到1月,李小冉进医院

财经要闻

10万人逼宫英伟达 黄仁勋要复职了?

汽车要闻

多面新方盒捷途环游者EV开启预售 9.99万元起

态度原创

亲子
手机
本地
旅游
公开课

亲子要闻

小龙宝打起陕西小鼓真有派,给双方父母带啥好吃的?俩爹最开心

手机要闻

OPPO Reno17 系列发布,全品类新品齐亮相!

本地新闻

乌兰察布:以前种土豆,现在种Token

旅游要闻

别只知道奢香夫人,毕节这个古屯,才是水西故事里不能忽略的一页

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版