网易首页 > 网易科技 > 网易科技 > 正文

WAIC系列 | 三款AI推理芯片+超节点异构集群,云天励飞公布未来算力蓝图

0
分享至

7月18日,云天励飞在2026 WAIC公布未来两年多AI推理芯片路线图。公司计划推出DeepVerse100P、DeepVerse100D、DeepVerse100L三款芯片,分别针对AI推理中Prefill、Decode和Decode FFN环节的负载特征进行专用优化。

三款芯片将面向万卡异构集群进行协同设计与部署,通过对不同推理阶段进行解耦,为不同负载配置更加适配的芯片和算力资源,进一步提升系统整体效率,持续降低Token生成成本。

推理负载持续分化,算力优化走向精细化

从负载特征来看,当前大模型推理应用正在形成不同类型:以对话、知识问答为代表的通用AI助手,以复杂推理、编程为代表的深度推理应用,以及以Agentic Coding、多Agent协同为代表的实时智能体系统。

随着AI应用不断深入,单次任务的上下文长度、推理链路复杂度以及实时交互要求持续提高,对推理系统的吞吐、延迟和成本提出了更高要求。对于大规模推理部署而言,峰值算力已难以单独反映系统效率,计算、访存、互联和系统调度等因素,共同影响Token生成效率和成本。

大模型推理不同阶段的计算特征也存在明显差异。Prefill需要集中处理输入上下文,对计算能力要求较高;Decode采用逐Token生成方式,对内存带宽和数据访问效率更加敏感。随着MoE等模型架构发展,Decode阶段内部的Attention与FFN在计算、访存等方面也呈现出不同的资源需求。

针对推理负载的变化,云天励飞计划在未来推出DeepVerse100P、DeepVerse100D和DeepVerse100L三款云端大算力推理芯片。

DeepVerse100P面向百万级上下文Prefill场景打造。在传统混部架构中,长上下文Prefil与Decode共享算力与带宽资源,会造成资源抢占,对Decode生成吞吐造成影响。

DeepVerse100D面向Decode环节打造专用推理引擎,拥有数倍于主流芯片的内存带宽,支持1024卡Scale-up及光互联系统架构。通过按需建立光路直连,并根据任务动态重构光路,减少传统多跳电交换和静态组网中的排队、拥塞及中间转发开销,降低多节点通信阻塞和尾延迟,提高逐Token输出的稳定性。

DeepVerse100L面向Decode 阶段计算密集型的FFN环节,采用3D Memory架构,相比主流HBM,大幅提升内存带宽,并通过低延迟芯片互联和激活数据快速传输,提高计算与通信的并行效率。

三款芯片协同面向万卡异构集群

随着AI推理进入规模化部署阶段,芯片优化也正由单颗性能提升,进一步走向多芯协同和集群级效率优化。

在万卡规模的推理集群中,系统效率并非单卡性能的简单叠加。不同推理负载对计算、内存和通信资源的需求存在明显差异,当Prefill与Decode、Attention与FFN共享同一套通用算力资源时,容易产生资源竞争。与此同时,随着集群规模扩大,通信阻塞、资源等待和尾延迟等问题也会进一步影响整体推理效率。

因此,提升Token生成效率,除了优化单颗芯片性能,还需要围绕芯片在集群中的协同,对推理过程中的计算、访存、互联和资源配置进行系统级设计。

基于DeepVerse100P、DeepVerse100D和DeepVerse100L,云天励飞计划推动三款芯片在万卡异构集群中的分离式部署与协同运行。按照Prefill、Decode 和Decode FFN的不同负载特征,分别配置相应芯片和资源池,并通过高速互联形成协同运行的异构算力系统。

这一芯片协同方案围绕Token生成全过程进行系统优化。通过对不同推理阶段进行分离,降低不同负载之间的资源干扰,并根据实际需求配置计算、访存和通信资源,从而提升集群资源利用率和整体推理效率。

从面向特定推理负载进行芯片优化,到不同芯片之间的协同,再到万卡级集群应用,云天励飞正在将AI推理芯片的优化范围由单颗性能延伸至集群级效率。

面向“百亿Token一分钱”的长期目标,云天励飞希望以三款芯片为核心,形成一套服务于大规模Token生成的“推理工厂”,通过芯片、互联、软件和系统的协同优化,提高算力产出效率,持续降低单位Token成本。

IFWA软件栈:降低国产算力应用门槛

硬件异构程度和集群规模不断提升,也对软件栈提出了更高要求。模型能否快速完成适配、算子性能能否得到充分释放、不同硬件资源能否高效协同,直接影响DeepVerse芯片在大规模集群中的实际运行效率。

围绕DeepVerse芯片及其集群应用,云天励飞持续建设IFWA软件栈,覆盖AI模型开发、编程及系统等不同层级,为模型适配、算子优化、编译部署和软硬件协同提供软件支撑。

在兼容性方面,IFWA围绕Transformer主流架构,持续完善PyTorch ATen算子的适配和性能优化,并加强对vLLM、SGLang等主流推理框架的支持。通过兼容主流软件接口、复用成熟开源组件,降低模型向DeepVerse平台迁移和部署的成本。

在模型适配和开发效率方面,IFWA构建了覆盖模型量化、压缩、编译和部署的一站式自动化工具链,并引入AI Agent参与推理芯片适配和性能优化。

此前,云天励飞已开源Houmao多Agent异构编程框架,由不同Agent协同完成模型开发、算子开发、性能优化和测试验证等任务,将部分依赖人工经验的芯片软件开发流程转化为自动执行、自动验证和持续优化,缩短新模型和新算子的适配周期。

与此同时,云天励飞还将成熟的Triton算子能力融入FlagOS,通过代码贡献、联合验证和社区复用,推动相关能力在国产AI软件生态中进一步共享,减少不同硬件平台在算子适配上的重复投入。

在云天励飞的规划中,IFWA并非一套封闭的软件体系,而是通过对主流模型、框架和开发工具的兼容,降低开发者的迁移和使用成本,缩短模型在DeepVerse平台上的部署周期,让国产算力更加便捷地进入实际应用。

“1001计划”,推动Token成本协同优化

降低Token生成成本是一项系统工程。

从芯片架构、IP与EDA,到封装测试、系统互联、软件栈和算力平台,再到模型及应用,产业链不同环节的效率都会影响最终的Token生成成本。实现极致性价比的Token,需要产业链上下游共同参与。

今年5月,云天励飞联合30余家等单位,共同签署“1001计划”倡议。“1001计划”将围绕Token生成效率和成本,推动产业链上下游加强协同。通过更加紧密的产业合作,使模型和应用需求更早反馈至芯片及系统设计环节,推动成熟软件能力加快复用,同时加速芯片在集群和实际场景中的验证和应用。

随着AI走向规模化应用,算力竞争正在进一步转向对系统效率和单位Token成本的持续优化。芯片、软件、系统和应用之间的协同程度,也将越来越直接地影响AI算力的实际价值。

以“百亿Token一分钱”为长期目标,云天励飞将持续推进芯片、系统、软件和产业生态协同创新,与更多生态伙伴共同提高Token性价比,推动国产AI算力从“能用”迈向“好用、易用、用得起”,为人工智能规模化应用提供更加高效、普惠的算力基础。

延伸阅读
相关推荐
热点推荐
长津湖战役中,美军发现一整连志愿军官兵冻死在阵地上。电影里表现是美军敬礼,但据当年一名16岁幸存者回忆,美军并没敬礼,而是挨个补枪

长津湖战役中,美军发现一整连志愿军官兵冻死在阵地上。电影里表现是美军敬礼,但据当年一名16岁幸存者回忆,美军并没敬礼,而是挨个补枪

人生录
2026-11-21 00:05:14
在深圳坐车不拉窗帘看什么?特朗普回白宫自曝:路面修补的痕迹都没看到

在深圳坐车不拉窗帘看什么?特朗普回白宫自曝:路面修补的痕迹都没看到

快科技
2026-11-21 18:44:08
人老了真的没什么意思,我爸今年72岁,独自在家每天就做这五件事

人老了真的没什么意思,我爸今年72岁,独自在家每天就做这五件事

九哥哥车评
2026-11-21 09:38:35
辛鲍姆总统为什么坐民航客机来华,原因很简单,不是因为她接地气,而是因为墨西哥没有总统专机,总统专机已经卖给塔吉克斯坦。

辛鲍姆总统为什么坐民航客机来华,原因很简单,不是因为她接地气,而是因为墨西哥没有总统专机,总统专机已经卖给塔吉克斯坦。

回京历史梦
2026-11-21 09:30:43
苏州有个小伙,伺候女朋友整整七年,连袜子内裤都帮她洗,结果被一杯刚煮开、滚烫的姜茶泼了,他当场转身,彻底跟这段感情一刀两断。

苏州有个小伙,伺候女朋友整整七年,连袜子内裤都帮她洗,结果被一杯刚煮开、滚烫的姜茶泼了,他当场转身,彻底跟这段感情一刀两断。

品读时刻
2026-11-21 09:09:02
红果短剧全面下架,彻底失控了

红果短剧全面下架,彻底失控了

李东阳朋友圈
2026-11-20 10:00:35
高市早苗飞离中国,中方铺红毯、礼仗队送别,日本认为“中方失礼”,根本站不住脚

高市早苗飞离中国,中方铺红毯、礼仗队送别,日本认为“中方失礼”,根本站不住脚

蓝星杂谈
2026-11-20 13:04:01
178元一瓶,“APEC晚宴荔枝酒”卖断货,员工:干冒烟了,加班费让人开心

178元一瓶,“APEC晚宴荔枝酒”卖断货,员工:干冒烟了,加班费让人开心

江山挥笔
2026-11-21 11:30:34
后悔不?租金从800万涨到2400万逼走胖东来,空楼跌到400万没人接

后悔不?租金从800万涨到2400万逼走胖东来,空楼跌到400万没人接

草莓信箱
2026-11-20 17:12:20
特朗普APEC期间下榻深圳东海朗廷酒店,内部房间曝光

特朗普APEC期间下榻深圳东海朗廷酒店,内部房间曝光

极目新闻
2026-11-20 18:45:32
7亿!加索尔正式联手科比遗孀!瓦妮莎想开了,官宣决定

7亿!加索尔正式联手科比遗孀!瓦妮莎想开了,官宣决定

喜欢体育的猫
2026-11-21 10:36:48
发布会上说“开车是可以睡觉的,别睡死过去就行了”,余承东纠正:讲的不准确,现在还是L2时代,大家一定要注意安全,开车不能睡觉

发布会上说“开车是可以睡觉的,别睡死过去就行了”,余承东纠正:讲的不准确,现在还是L2时代,大家一定要注意安全,开车不能睡觉

蓬勃新闻
2026-11-20 21:56:53
局势失控!英伟达内部对立加剧,10名董事+60名高管收到同一封“逼宫信”:看不到黄仁勋回归,便选择离场

局势失控!英伟达内部对立加剧,10名董事+60名高管收到同一封“逼宫信”:看不到黄仁勋回归,便选择离场

秋风妃
2026-11-21 14:13:31
高市制造了“舷梯门”

高市制造了“舷梯门”

天真无牙
2026-11-21 14:52:51
普林斯顿博士生被拘事件​​​曝更多内幕:14岁移居纽约,全家申请政治庇护

普林斯顿博士生被拘事件​​​曝更多内幕:14岁移居纽约,全家申请政治庇护

小徐讲八卦
2026-11-21 10:28:27
全球最高C罗雕像坐落上海!C罗哥哥为雕像揭幕:高7米 做SIU动作

全球最高C罗雕像坐落上海!C罗哥哥为雕像揭幕:高7米 做SIU动作

风过乡
2026-11-21 17:09:02
高市早苗在APEC会议期间就有关台湾问题表态,钧正平:若日方如表态所言恪守《中日联合声明》,就该拿出实实在在的诚意,公开收回错误言论

高市早苗在APEC会议期间就有关台湾问题表态,钧正平:若日方如表态所言恪守《中日联合声明》,就该拿出实实在在的诚意,公开收回错误言论

都市快报橙柿互动
2026-11-21 09:26:12
75岁张纪中的妻子回应会不会改嫁,称“我老公再活30年,我75岁了,嫁给谁呀”

75岁张纪中的妻子回应会不会改嫁,称“我老公再活30年,我75岁了,嫁给谁呀”

韩小娱
2026-11-20 16:45:15
没想到,APEC峰会结束仅1天,中国竟因三个“特产”在全球火出圈

没想到,APEC峰会结束仅1天,中国竟因三个“特产”在全球火出圈

云上乌托邦
2026-11-21 00:20:04
不匹配的高度,配得上谁?

不匹配的高度,配得上谁?

薇微笑语
2026-11-20 16:13:00
2026-11-21 20:24:49

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

李亚鹏谈嫣然天使基金募款:大家每个月捐1块就可以了

头条要闻

李亚鹏谈嫣然天使基金募款:大家每个月捐1块就可以了

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

虞书欣擦边自拍、霸凌同事、媒体点名?

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

手机
游戏
房产
家居
本地

手机要闻

摩托罗拉Razr Flex更多渲染图曝光 或成品牌首款横向大折叠手机

硬件外媒:《GTA6》PS6版也不能60帧!除非大缩水

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

家居要闻

2026建博会(广州) 公装联探展交流活动

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

无障碍浏览 进入关怀版
×