网易首页 > 网易号 > 正文 申请入驻

上海AI Lab混合扩散语言模型SDAR:突破6600 tgs开源扩散语言模型

0
分享至

程爽,上海人工智能实验室和浙江大学联培博士生一年级;卞一涵,美国马里兰大学硕士生二年级,上海人工智能实验室实习生;刘大卫,上海人工智能实验室和上海交通大学联培博士生一年级;齐弼卿,上海人工智能实验室研究员(指导老师)

大模型推理速度慢、成本高,已成为限制其广泛应用的核心瓶颈。其根源在于自回归(AR)模型「逐字生成」的串行模式。

近日,上海人工智能实验室针对该难题提出全新范式 SDAR (Synergistic Diffusion-AutoRegression)。

该方法通过「训练-推理解耦」的巧妙设计,无缝融合了AR 模型的高性能与扩散模型的并行推理优势,能以极低成本将任意AR 模型「改造」为并行解码模型。

  • 论文标题:SDAR: A Synergistic Diffusion-AutoRegression Paradigm for Scalable Sequence Generation
  • 论文链接:https://arxiv.org/abs/2510.06303
  • 代码地址:https://github.com/JetAstra/SDAR
  • 推理引擎:https://github.com/InternLM/lmdeploy
  • 模型地址:https://huggingface.co/collections/JetLM/sdar

实验证明,SDAR 不仅在多个基准上与原版AR 模型性能持平甚至超越,还能带来数倍的真实推理加速。更令人惊喜的是,SDAR 在复杂的科学推理任务上展现出巨大潜力。在与采用相同配置训练的 AR 基线模型进行公平对比时,SDAR 在 ChemBench 等基准上最高取得了12.3个百分点的性能优势。

在科学推理能力上,SDAR 实现了对 AR 基线模型的超越。与使用完全相同配置训练的 AR 版本进行公平对比,SDAR-30B-A3B-Sci 模型在 ChemBench(化学)和 GPQA-diamond(谷歌研究员水平科学问答)两大基准上,得分分别从 60.5 提升至 72.8 和从 61.2 提升至 66.7,取得了 12.3 和 5.5 个百分点的显著优势。这一结果有力地表明,其局部双向注意力机制对于精准理解化学式等结构化知识至关重要。

目前,该团队已全面开源从1.7B 到 30B的全系列SDAR 模型、高效推理引擎及迄今最强的开源扩散类推理模型 SDAR-30B-A3B-Sci。

大模型推理的「速度困境」:

自回归与扩散模型的两难抉择

GPT 系列模型问世以来,自回归(Autoregressive, AR)范式便成为主流。它通过「从左到右、逐词预测」的方式生成文本,完美契合了自然语言的顺序结构,这也是AR 模型效果出众的根本原因。 然而,这种严格的顺序依赖,也带来了两大与生俱来的挑战:

  • 推理速度瓶颈:生成下一词元(token)必须等待前一词元完成,完全串行的机制导致推理延迟高、服务成本居高不下,模型规模越大,问题越严峻。
  • 局部视野与不可逆生成的双重缺陷:AR模型线性的生成路径不仅带来了局部视野局限,难以整体理解化学分子式等结构化知识;更致命的是它缺乏自我修正(Self-Correction)能力。每个词元的生成都是一个不可逆的「最终决策」,一旦出错便无法挽回,导致错误累积。这与扩散模型等范式形成了鲜明对比,后者理论上支持迭代优化和全局修正,这正是它们被视为攻克复杂推理任务的关键潜力所在,也是业界探索非自回归路径的核心驱动力。

为打破僵局,研究者们将目光投向了潜力巨大的扩散模型(Diffusion Models)。其中的掩码扩散语言模型(MDLM)将整个序列视为一个整体,通过「从模糊到清晰」的迭代去噪方式并行生成,理论上能一举解决AR 模型的速度瓶颈。

但实践中,MDLM 面临两大难题:

  • 训练效率低下:ELBO 优化目标相比标准NLL 收敛更慢,导致性能不佳。值得注意的是,该工作首次对二者的训练效率进行了公平对比,实验证实,在同等算力下,MDLM 与 AR 模型的性能存在显著差距。
  • 推理成本高昂:由于缺乏类似AR 模型的 KV 缓存机制,MDLM 在推理时每一步都需要处理整个序列,导致计算复杂度高,实际部署依然昂贵。

「混合模型」虽然尝试结合二者,块内并行、块间自回归,但其特殊的训练目标函数依赖复杂的注意力掩码,导致训练开销几乎翻倍,令人望而却步。

另辟蹊径:

SDAR 如何通过「训练-推理解耦」实现双赢

面对这一困境,上海AI 实验室的研究团队重新审视问题本质,提出了一个颠覆性的思路:为什么要在同一个阶段解决所有问题?SDAR 范式的核心就是「解耦」(Decoupling):

  • 训练阶段:拥抱高效的 AR 范式。完全沿用成熟、稳定、高效的AR 模型进行预训练。这确保了模型在一个强大的基础上起步,拥有与顶尖AR 模型同等水平的知识和能力。
  • 推理阶段:轻量级适配,解锁并行解码。在 AR 预训练后,引入一个短暂且成本极低的「适配」阶段,教会模型以「块」为单位进行并行扩散式生成。

这个过程,可以理解为:先培养出一位精通单字书法的大家(强大的AR 模型),然后只用极短时间教会他「连笔挥毫」(块状并行生成)的技巧。其原有的书法功底(模型性能)丝毫未损,但创作速度(推理效率)却得到了质的飞跃。

通过这种「训练-适配」分离的设计,SDAR 完美保留了 AR 模型的全部优点——强大的性能、高效的优化、KV 缓存、可变长度生成等,同时精准地「嫁接」了扩散模型最核心的优势——并行解码带来的推理加速。

实验见真章:

性能、速度与成本的规模化验证

为了验证SDAR 的实际效果,研究团队进行了一系列严谨的实验,旨在回答三个核心问题:SDAR 性能与同级AR 模型相比如何?并行加速效果如何?改造现有AR 模型的成本高吗?

关键发现:

  • 低成本适配,性能齐平甚至超越:任何主流AR 模型都能通过低成本适配转为SDAR,并在下游任务中达到与原版AR 相当甚至更高的性能。
  • 模型越大,并行效率越高:更大的SDAR 模型能容忍更大的并行块(block size),在不牺牲性能的前提下实现更高的加速比。
  • 精度驱动效率:在 SDAR 中,模型能力的提升(更自信的预测)会直接转化为更快的解码速度,形成「越强越快」的良性循环。

性能不妥协:与 AR 基线全面对标

研究人员基于Qwen3 系列1.7B、4B、8B-dense 和 30B-A3B MoE 模型,通过「继续预训练 (CPT) + 指令微调 (SFT)」的两阶段流程,训练出SDAR-Chat 系列模型,并与采用完全相同流程训练的AR-Chat 基线进行全面对比。

图注:SDAR-Chat 和 AR-Chat 的严格比较

如上表所示,SDAR 在规模化扩展时,性能与AR 模型同步增长。在30B 规模下,SDAR-Chat 在18 个基准中的 11 个上持平或超越了其AR 版本,证明了该范式的有效性与可扩展性。

成本极低:高效的「即插即用」式适配

与需要 580B token 进行从头训练的Dream 等工作相比,SDAR 仅用 50B token的开源数据进行继续预训练,就能达到与AR 基线相当的性能。这证明了「解耦」思想的正确性:强大的 AR 预训练已为模型打下坚实基础,后续的块状扩散适配仅是一个短暂的「对齐目标」过程。这意味着社区能以极低的成本,将任何开源AR 模型轻松转换为高效的SDAR 模型

加速显著:真实部署中的效率飞跃

该研究通过「有效每步生成 Token 数」(TPF)这一指标来衡量理论加速。TPF 为 1 即为标准AR 模型

图注:SDAR 理论加速比

上图揭示了SDAR 的缩放定律:

  • 块越大,加速越明显:TPF 与块大小正相关。
  • 模型越大,加速越明显:更强的模型预测更自信,能一次性并行生成更多 token,实现更高的 TPF,形成「能力与速度」的良性循环。

在工业级推理引擎LMDeploy 上的实测结果更为直观。在对延迟敏感的小批量场景下,SDAR-8B-chat 在单张H200 上实现了相较于AR 版本 2.3 倍的实际加速,峰值吞吐量高达 6599 token/s,为实时交互应用提供了巨大优势。

解锁新潜能:

当 SDAR 遇上顶尖科学难题

除了效率提升,一个自然而然的问题是:SDAR 独特的生成机制是否会影响其复杂的推理能力?为此,研究人员基于Qwen3-30B-A3B,专门打造了一款科学推理模型 SDAR-30B-A3B-Sci,并与严格对齐训练流程的AR 版本进行对比,结果令人振奋。

关键发现:

  • 长链推理能力完整保留:SDAR 适配过程能很好地保留AR 基座模型的长思维链(CoT)推理能力。
  • 局部双向注意力优势凸显:SDAR 在需要理解局部结构化信息的任务(如化学)上表现出色。
  • 与测试时扩展策略协同增效:简单的多轮采样 + 投票就能带来巨大性能提升,显示出与RL 等技术结合的巨大潜力。

结果令人惊喜:

  • 在科学领域全面超越 AR:在 GPQA-diamond(谷歌研究员水平的科学问答)和 ChemBench(化学)等基准上,SDAR-30B-A3B-Sci 的得分比其AR 版本分别高出 5.5 和 12.3 个百分点(72.8 vs. 60.5 和 66.7 vs. 61.2)!这证明其局部双向注意力机制,对于理解化学式等结构化知识至关重要。
  • 测试时扩展潜力巨大:通过简单的多轮采样 + 多数投票(Majority Vote),SDAR 的性能得到进一步飞跃,在 AIME-2025(国际数学竞赛)上提升 +19.3%,在 LMB-hard(高难度数学)上提升 +15.7%。这表明SDAR 的并行生成范式能产生更多样化的推理路径,与集成学习等策略形成了完美互补。

图注:AR-30B-A3B-Sci and SDAR-30B-A3B-Sci 性能比较

图注:测试时扩展实验

这些结果证明,SDAR 不仅是一个「加速器」,更是一个「增强器」,为解决复杂推理任务提供了一个性能与效率俱佳的新范式。

总结与展望

SDAR 为大模型领域提供了一个强大而灵活的新工具。该研究的核心贡献可归纳为以下几点:

  • 首次公平对比 AR 与 MDLM 训练效率,用实验证实了AR 范式在训练上的巨大优势。
  • 提出创新的 SDAR 范式,通过「训练-推理」解耦,实现了AR 的高性能与扩散模型并行解码的优势结合。
  • 提供低成本的实用方案,可将任意AR 模型适配为SDAR,并验证了其在不同模型、不同架构(Dense、MoE)上的普适性。
  • 系统性揭示缩放定律,分析了模型大小、块大小、性能与速度间的关系,为未来研究提供了宝贵经验。
  • 全面开源全系列成果,包括从1.7B 到 30BSDAR 模型、轻量级和生产级的推理引擎,以及迄今最强的开源扩散类推理模型 SDAR-30B-A3B-Sci。

SDAR 的出现,不仅能让现有的大模型「飞」起来,降低应用门槛,也为探索更高性能、更高效的下一代AI 推理范式打开了一扇新的大门。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
查了查郑丽文的老公,这不查不知道,一查真是让我瞬间明白了许多

查了查郑丽文的老公,这不查不知道,一查真是让我瞬间明白了许多

风流女汉
2026-11-16 16:46:08
这是中国最不要脸的一个群体,无耻之极,世所罕见!

这是中国最不要脸的一个群体,无耻之极,世所罕见!

晓楖科普
2026-11-11 13:09:39
乌克兰媒体确认了:乌克兰总统泽连斯基明确表态,乌克兰不会放弃本国领土,乌克兰不会撤退、不会向俄罗斯出让土地

乌克兰媒体确认了:乌克兰总统泽连斯基明确表态,乌克兰不会放弃本国领土,乌克兰不会撤退、不会向俄罗斯出让土地

吉刻新闻
2026-11-15 08:10:56
穆帅的眼光太准!皇马球迷正在认知到穆帅早已知道的一点:库库雷利亚名气不耀眼,防守很硬核,能给皇马左路带来底气!

穆帅的眼光太准!皇马球迷正在认知到穆帅早已知道的一点:库库雷利亚名气不耀眼,防守很硬核,能给皇马左路带来底气!

福酱的小时光
2026-11-16 07:46:41
5场仅踢18分钟!葡萄牙32岁新队长不满热苏斯,效仿C罗,退出集训

5场仅踢18分钟!葡萄牙32岁新队长不满热苏斯,效仿C罗,退出集训

球场没跑道
2026-11-16 13:22:35
三部科幻片烂番茄均超90%,含库布里克经典

三部科幻片烂番茄均超90%,含库布里克经典

算力游侠
2026-11-15 15:40:24
赖清德当局不让修、不让上岸?厦金大桥最后 1 公里, 大陆这步太高明

赖清德当局不让修、不让上岸?厦金大桥最后 1 公里, 大陆这步太高明

疯狂的小历史
2026-11-16 11:14:43
重仓AI硬件,一批基金濒临清盘

重仓AI硬件,一批基金濒临清盘

凤凰网财经
2026-11-15 22:02:12
鲁比奥为什么要扳倒黄仁勋,《华盛顿邮报》爆料更多细节

鲁比奥为什么要扳倒黄仁勋,《华盛顿邮报》爆料更多细节

起点财经
2026-11-15 16:00:16
特朗普:期待参加中俄美元首会晤

特朗普:期待参加中俄美元首会晤

澎湃新闻
2026-11-16 14:43:22
亚历山大三节37分!雷霆大胜国王结束3连败 阿卡夫26+6+9失误

亚历山大三节37分!雷霆大胜国王结束3连败 阿卡夫26+6+9失误

醉卧浮生
2026-11-16 12:22:36
画面不堪入目,地下人奶交易乱象,成年人躺进怀里吃奶的灰色黑产

画面不堪入目,地下人奶交易乱象,成年人躺进怀里吃奶的灰色黑产

易玄
2026-09-12 10:24:46
公交改革来了!不再全由财政兜底,今后乘车、老年优惠会变吗

公交改革来了!不再全由财政兜底,今后乘车、老年优惠会变吗

铭记历史呀
2026-10-24 00:28:25
狂轰73+12+19!76人三巨头打疯了,詹姆斯准三双,这一战,我必须承认4个事实

狂轰73+12+19!76人三巨头打疯了,詹姆斯准三双,这一战,我必须承认4个事实

篮球扫地僧
2026-11-16 16:54:42
4+9+4+3+1!火箭从哪淘到的宝贝?单节9篮板,你是雷吉埃文斯啊?

4+9+4+3+1!火箭从哪淘到的宝贝?单节9篮板,你是雷吉埃文斯啊?

球盲姐
2026-11-16 12:19:41
霍启刚又幸福了!44岁郭晶晶官宣喜讯,让霍震霆和整个贵妇圈沉默了

霍启刚又幸福了!44岁郭晶晶官宣喜讯,让霍震霆和整个贵妇圈沉默了

不写散文诗
2026-11-15 15:09:22
AI演员方桃子首个美瞳代言广告被罚,其制作公司因发布虚假广告被罚6.82万余元;方桃子视频广告报价16.8万元起,出道仅30天吸粉超40万

AI演员方桃子首个美瞳代言广告被罚,其制作公司因发布虚假广告被罚6.82万余元;方桃子视频广告报价16.8万元起,出道仅30天吸粉超40万

蓬勃新闻
2026-11-16 14:50:11
性学专家李银河说:你若50岁左右,人生余额已不多。不出意外…

性学专家李银河说:你若50岁左右,人生余额已不多。不出意外…

豁达宇宙
2025-10-22 18:31:20
皇马连环暴击!穆里尼奥惨遭重创!伯纳乌这下悬了

皇马连环暴击!穆里尼奥惨遭重创!伯纳乌这下悬了

奶盖熊本熊
2026-11-16 09:03:54
涉嫌严重违纪违法,龚先华接受审查调查

涉嫌严重违纪违法,龚先华接受审查调查

中国基金报
2026-11-16 13:36:52
2026-11-16 18:20:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14486文章数 142758关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

APEC会议首位外国元首抵达深圳 中国女保镖贴身保护

头条要闻

APEC会议首位外国元首抵达深圳 中国女保镖贴身保护

体育要闻

热火4连胜:就因为维金斯替补了?

娱乐要闻

43岁佟丽娅官宣新身份担任职务不一般

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

日产终于开窍了!全新NV200 PHEV才是露营党的梦中情车?

态度原创

教育
房产
游戏
家居
数码

教育要闻

买1赠1=打几折?难不倒学霸

房产要闻

6.6亿!海口卖地!

《纪元117:罗马和平》补丁预计一周后发布!

家居要闻

2026建博会(广州) 公装联探展交流活动

数码要闻

显卡压力拉满!《神鬼寓言》实机演示:4K/60帧保底RTX 5080

无障碍浏览 进入关怀版