网易首页 > 网易科技 > 网易科技 > 正文

WAIC系列 | 三款AI推理芯片+超节点异构集群,云天励飞公布未来算力蓝图

0
分享至

7月18日,云天励飞在2026 WAIC公布未来两年多AI推理芯片路线图。公司计划推出DeepVerse100P、DeepVerse100D、DeepVerse100L三款芯片,分别针对AI推理中Prefill、Decode和Decode FFN环节的负载特征进行专用优化。

三款芯片将面向万卡异构集群进行协同设计与部署,通过对不同推理阶段进行解耦,为不同负载配置更加适配的芯片和算力资源,进一步提升系统整体效率,持续降低Token生成成本。

WAIC系列 | 三款AI推理芯片+超节点异构集群,云天励飞公布未来算力蓝图

推理负载持续分化,算力优化走向精细化

从负载特征来看,当前大模型推理应用正在形成不同类型:以对话、知识问答为代表的通用AI助手,以复杂推理、编程为代表的深度推理应用,以及以Agentic Coding、多Agent协同为代表的实时智能体系统。

随着AI应用不断深入,单次任务的上下文长度、推理链路复杂度以及实时交互要求持续提高,对推理系统的吞吐、延迟和成本提出了更高要求。对于大规模推理部署而言,峰值算力已难以单独反映系统效率,计算、访存、互联和系统调度等因素,共同影响Token生成效率和成本。

大模型推理不同阶段的计算特征也存在明显差异。Prefill需要集中处理输入上下文,对计算能力要求较高;Decode采用逐Token生成方式,对内存带宽和数据访问效率更加敏感。随着MoE等模型架构发展,Decode阶段内部的Attention与FFN在计算、访存等方面也呈现出不同的资源需求。

针对推理负载的变化,云天励飞计划在未来推出DeepVerse100P、DeepVerse100D和DeepVerse100L三款云端大算力推理芯片。

DeepVerse100P面向百万级上下文Prefill场景打造。在传统混部架构中,长上下文Prefil与Decode共享算力与带宽资源,会造成资源抢占,对Decode生成吞吐造成影响。

DeepVerse100D面向Decode环节打造专用推理引擎,拥有数倍于主流芯片的内存带宽,支持1024卡Scale-up及光互联系统架构。通过按需建立光路直连,并根据任务动态重构光路,减少传统多跳电交换和静态组网中的排队、拥塞及中间转发开销,降低多节点通信阻塞和尾延迟,提高逐Token输出的稳定性。

DeepVerse100L面向Decode 阶段计算密集型的FFN环节,采用3D Memory架构,相比主流HBM,大幅提升内存带宽,并通过低延迟芯片互联和激活数据快速传输,提高计算与通信的并行效率。

WAIC系列 | 三款AI推理芯片+超节点异构集群,云天励飞公布未来算力蓝图

三款芯片协同面向万卡异构集群

随着AI推理进入规模化部署阶段,芯片优化也正由单颗性能提升,进一步走向多芯协同和集群级效率优化。

在万卡规模的推理集群中,系统效率并非单卡性能的简单叠加。不同推理负载对计算、内存和通信资源的需求存在明显差异,当Prefill与Decode、Attention与FFN共享同一套通用算力资源时,容易产生资源竞争。与此同时,随着集群规模扩大,通信阻塞、资源等待和尾延迟等问题也会进一步影响整体推理效率。

因此,提升Token生成效率,除了优化单颗芯片性能,还需要围绕芯片在集群中的协同,对推理过程中的计算、访存、互联和资源配置进行系统级设计。

基于DeepVerse100P、DeepVerse100D和DeepVerse100L,云天励飞计划推动三款芯片在万卡异构集群中的分离式部署与协同运行。按照Prefill、Decode 和Decode FFN的不同负载特征,分别配置相应芯片和资源池,并通过高速互联形成协同运行的异构算力系统。

这一芯片协同方案围绕Token生成全过程进行系统优化。通过对不同推理阶段进行分离,降低不同负载之间的资源干扰,并根据实际需求配置计算、访存和通信资源,从而提升集群资源利用率和整体推理效率。

从面向特定推理负载进行芯片优化,到不同芯片之间的协同,再到万卡级集群应用,云天励飞正在将AI推理芯片的优化范围由单颗性能延伸至集群级效率。

面向“百亿Token一分钱”的长期目标,云天励飞希望以三款芯片为核心,形成一套服务于大规模Token生成的“推理工厂”,通过芯片、互联、软件和系统的协同优化,提高算力产出效率,持续降低单位Token成本。

WAIC系列 | 三款AI推理芯片+超节点异构集群,云天励飞公布未来算力蓝图

IFWA软件栈:降低国产算力应用门槛

硬件异构程度和集群规模不断提升,也对软件栈提出了更高要求。模型能否快速完成适配、算子性能能否得到充分释放、不同硬件资源能否高效协同,直接影响DeepVerse芯片在大规模集群中的实际运行效率。

围绕DeepVerse芯片及其集群应用,云天励飞持续建设IFWA软件栈,覆盖AI模型开发、编程及系统等不同层级,为模型适配、算子优化、编译部署和软硬件协同提供软件支撑。

在兼容性方面,IFWA围绕Transformer主流架构,持续完善PyTorch ATen算子的适配和性能优化,并加强对vLLM、SGLang等主流推理框架的支持。通过兼容主流软件接口、复用成熟开源组件,降低模型向DeepVerse平台迁移和部署的成本。

在模型适配和开发效率方面,IFWA构建了覆盖模型量化、压缩、编译和部署的一站式自动化工具链,并引入AI Agent参与推理芯片适配和性能优化。

此前,云天励飞已开源Houmao多Agent异构编程框架,由不同Agent协同完成模型开发、算子开发、性能优化和测试验证等任务,将部分依赖人工经验的芯片软件开发流程转化为自动执行、自动验证和持续优化,缩短新模型和新算子的适配周期。

与此同时,云天励飞还将成熟的Triton算子能力融入FlagOS,通过代码贡献、联合验证和社区复用,推动相关能力在国产AI软件生态中进一步共享,减少不同硬件平台在算子适配上的重复投入。

在云天励飞的规划中,IFWA并非一套封闭的软件体系,而是通过对主流模型、框架和开发工具的兼容,降低开发者的迁移和使用成本,缩短模型在DeepVerse平台上的部署周期,让国产算力更加便捷地进入实际应用。

WAIC系列 | 三款AI推理芯片+超节点异构集群,云天励飞公布未来算力蓝图

“1001计划”,推动Token成本协同优化

降低Token生成成本是一项系统工程。

从芯片架构、IP与EDA,到封装测试、系统互联、软件栈和算力平台,再到模型及应用,产业链不同环节的效率都会影响最终的Token生成成本。实现极致性价比的Token,需要产业链上下游共同参与。

今年5月,云天励飞联合30余家等单位,共同签署“1001计划”倡议。“1001计划”将围绕Token生成效率和成本,推动产业链上下游加强协同。通过更加紧密的产业合作,使模型和应用需求更早反馈至芯片及系统设计环节,推动成熟软件能力加快复用,同时加速芯片在集群和实际场景中的验证和应用。

WAIC系列 | 三款AI推理芯片+超节点异构集群,云天励飞公布未来算力蓝图

随着AI走向规模化应用,算力竞争正在进一步转向对系统效率和单位Token成本的持续优化。芯片、软件、系统和应用之间的协同程度,也将越来越直接地影响AI算力的实际价值。

以“百亿Token一分钱”为长期目标,云天励飞将持续推进芯片、系统、软件和产业生态协同创新,与更多生态伙伴共同提高Token性价比,推动国产AI算力从“能用”迈向“好用、易用、用得起”,为人工智能规模化应用提供更加高效、普惠的算力基础。

延伸阅读
相关推荐
热点推荐
鳌拜被擒后康熙直奔其密室,撞见孝庄和6岁男孩:这是谁的孩子

鳌拜被擒后康熙直奔其密室,撞见孝庄和6岁男孩:这是谁的孩子

朝朝暮暮情感录
2026-01-15 16:42:07
7球1助攻!23岁1.3亿欧英格兰新王崛起:刷爆神迹+1数据超贝利

7球1助攻!23岁1.3亿欧英格兰新王崛起:刷爆神迹+1数据超贝利

李喜林篮球绝杀
2026-07-19 09:27:33
红得快凉的更快!这5位明星把自己作没了,原因一个比一个离谱

红得快凉的更快!这5位明星把自己作没了,原因一个比一个离谱

有范又有料
2026-07-19 04:10:28
刚刚,杭州一地升级暴雨红色预警!此刻全国暴雨中心在上海,雨量历史罕见

刚刚,杭州一地升级暴雨红色预警!此刻全国暴雨中心在上海,雨量历史罕见

都市快报橙柿互动
2026-07-19 16:41:48
62岁布拉德皮特携33岁女友看球赛,赛场亲密亲吻甜度拉满

62岁布拉德皮特携33岁女友看球赛,赛场亲密亲吻甜度拉满

墨薷桃桃
2026-07-12 14:53:51
热搜压不住了!李小冉徐佳宁被曝离婚,更多细节被扒令人大跌眼镜

热搜压不住了!李小冉徐佳宁被曝离婚,更多细节被扒令人大跌眼镜

无处不风景love
2026-07-19 21:36:59
萨卡直言不满出场太少,图赫尔被迫公开解释自己半决赛的用人安排

萨卡直言不满出场太少,图赫尔被迫公开解释自己半决赛的用人安排

领创体育君
2026-07-19 19:56:37
北京爷们36:28万人停捐、两轮实名举报!捋清韩红基金会舆论全程

北京爷们36:28万人停捐、两轮实名举报!捋清韩红基金会舆论全程

可乐谈情感
2026-07-20 01:32:05
留洋青训球员谈申思:不仅教会我踢球,更影响了我价值观和选择

留洋青训球员谈申思:不仅教会我踢球,更影响了我价值观和选择

砚底沉香
2026-07-19 09:41:12
生育率暴跌只是前奏,二十年后你的人生会被怎样改写

生育率暴跌只是前奏,二十年后你的人生会被怎样改写

呼呼历史论
2026-07-19 19:03:38
小伙职高毕业期望薪资3万,面试官笑问:牛奶倒入大海怎么拿回?

小伙职高毕业期望薪资3万,面试官笑问:牛奶倒入大海怎么拿回?

青青会讲故事
2025-10-17 17:12:53
上海暴雨积水 一对母子困屋内获救

上海暴雨积水 一对母子困屋内获救

看看新闻Knews
2026-07-19 21:58:44
43死320伤!伊朗发起“斩首行动”,美不想打了?特朗普转变态度

43死320伤!伊朗发起“斩首行动”,美不想打了?特朗普转变态度

闻香阁
2026-07-18 00:18:03
签老东家教练组!CBA老总被攻击 他被冤枉了吗?

签老东家教练组!CBA老总被攻击 他被冤枉了吗?

烟浔渺渺
2026-07-20 00:21:16
项英牺牲真相:为何多次拒绝毛泽东北上命令?只因自己的两个私心

项英牺牲真相:为何多次拒绝毛泽东北上命令?只因自己的两个私心

阿胡
2025-02-07 15:06:06
黄岩岛露出大片陆地,填海后可移民20万人!国家为何迟迟不动工?

黄岩岛露出大片陆地,填海后可移民20万人!国家为何迟迟不动工?

抽象派大师
2026-07-20 02:12:45
哈工程女导师学术不端,还说不怕学生告,她丈夫是哈工程大学副院长

哈工程女导师学术不端,还说不怕学生告,她丈夫是哈工程大学副院长

江山挥笔
2026-07-19 09:16:29
被调侃走步像勒布朗,克拉克前一天刚轰出45+10创历史

被调侃走步像勒布朗,克拉克前一天刚轰出45+10创历史

日常碎碎念啊
2026-07-20 01:51:00
罗马诺:4500+500万欧报价萨默维尔被拒后,罗马准备开新报价

罗马诺:4500+500万欧报价萨默维尔被拒后,罗马准备开新报价

懂球帝
2026-07-20 00:49:12
告诉孩子,高中阶段,除了学习,其他一切全都应放下

告诉孩子,高中阶段,除了学习,其他一切全都应放下

好爸育儿
2026-06-22 08:35:17
2026-07-20 04:08:49

科技要闻

Kimi K3单项登顶 整体落后前沿模型2-3个月

头条要闻

网友称草原有人驱赶分食马匹尸体的秃鹫 官方回应

头条要闻

网友称草原有人驱赶分食马匹尸体的秃鹫 官方回应

体育要闻

世界杯决赛,从“澡盆德比”500年前讲起

娱乐要闻

王侃因病逝世 两年前与父亲牛犇同台

财经要闻

任泽平VIP会员自称爆仓巨亏千万

汽车要闻

被追尾还能自动加速逃生?华为乾崑智驾ADS 5.0 OTA时间表发布,只有这台车不用等!

态度原创

时尚
本地
手机
数码
健康

除了机车包,Balenciaga的服装才是真正顶流

本地新闻

十年了,为什么鬼怪CP还能让人美美嗑上?

手机要闻

小米18入网,Pro系列先发!

数码要闻

AMD Zen6处理器跑分还再涨!同核心提升达35%

刮痧也会刮出脑梗?讲个真实案例

无障碍浏览 进入关怀版
×