网易首页 > 网易科技 > 网易科技 > 正文

海光信息×清程极智发布异构混推技术白皮书,打造高性价比大模型推理算力底座

0
分享至

(原标题:海光信息×清程极智发布异构混推技术白皮书,打造高性价比大模型推理算力底座)

11月21日,2026世界计算大会于长沙开幕。会上,海光信息联合清程极智发布PD分离异构混推技术白皮书,推出基于海光深算三号DCU与高端算力卡的异构混合推理方案。方案通过预填充与解码阶段的算力分工协同,破解长上下文大模型推理的性能与成本挑战,为大模型规模化运营提供兼顾效率与性价比的国产算力方案。

长上下文负载演进,同构推理架构凸显瓶颈

大模型推理正向高并发、超长上下文的在线服务演进,单次请求输入规模已达数十万Token。按Token结算的业务模式下,推理服务既要低延迟、高稳定,又要控制单位Token成本,算力产出效率直接影响运营收益。

海光信息×清程极智发布异构混推技术白皮书,打造高性价比大模型推理算力底座

大模型推理的两个阶段特性迥异:预填充阶段以大规模并行计算为主,属于计算密集型负载,决定首Token响应速度;解码阶段逐Token生成输出,受显存访存约束,影响整体生成流畅度。传统同构方案中两类任务共享芯片资源,既存在调度干扰导致延迟波动,也因硬件能力与负载需求不匹配推高成本;同时,单一算力选型还面临供应链波动的潜在风险。

异构分工协同调度,释放算力资源最大效能

针对行业痛点,联合方案采用预填充与解码分离(PD分离)核心架构,将两阶段部署于独立资源池,按硬件特性匹配对应负载。其中,海光深算三号DCU发挥高密度计算优势,承载长上下文场景预填充计算任务;高端算力聚焦解码环节,依托显存带宽与容量优势保障Token生成的流畅性,实现两类算力各展所长、资源高效利用。

为保障跨架构算力协同,清程极智自研推理平台实现了任务智能调度与KV缓存全生命周期管理。预填充阶段生成的KV缓存经高速RDMA网络跨池传输复用;多平面组网设计实现计算、存储、业务、管理流量物理隔离,保障通信稳定性。同时,海光DTK全栈开发平台兼容PyTorch、vLLM等主流AI框架,支持CUDA代码平滑迁移,大幅降低方案落地的开发适配成本。

端到端性能跃升3倍,异构混推解锁推理成本优势

白皮书披露了基于国内顶尖模型的多场景测试结果,覆盖从轻量交互到超长文档分析的多档典型业务负载。测试显示,方案全链路时延满足在线业务服务等级目标,模型推理精度与官方基准保持一致;同等建设成本下,端到端推理性能可达纯高端算力同构方案的3倍以上,性价比优势突出。

除性能优势外,方案还具备广泛的业务适配能力:面向智算中心与算力服务商,可构建高性价比Token工厂,通过弹性调度提升集群利用率;面向存量算力场景,可实现新旧算力组合复用,盘活既有资产、支撑平滑扩容;面向边缘推理场景,可构建跨层级PD分离架构,兼顾部署成本与低时延交互。

此次联合发布的异构混推方案,为国产算力深度参与大模型推理基础设施建设提供了可复制的技术路径。未来,海光将持续深化DCU产品技术迭代,携手更多生态伙伴拓展算力协同的应用边界,推动国产算力在AI全场景的规模化落地。

相关推荐
热点推荐
离开曼城不到一年,瓜迪奥拉传出新身份,原来他早给自己留好退路

离开曼城不到一年,瓜迪奥拉传出新身份,原来他早给自己留好退路

你好崽崽l
2026-11-22 11:37:21
内塔尼亚胡:我提议,就由我来担任唯一的总理

内塔尼亚胡:我提议,就由我来担任唯一的总理

寰宇大观察
2026-11-21 14:12:23
大幂幂不是白叫的

大幂幂不是白叫的

草莓解说体育
2026-10-24 07:40:22
1970年西哈努克被推翻流亡北京,五年间生活优渥甚至想迎娶女演员,回国后亲人接连遇难,他为何没有选择复仇

1970年西哈努克被推翻流亡北京,五年间生活优渥甚至想迎娶女演员,回国后亲人接连遇难,他为何没有选择复仇

唠叨说历史
2026-11-10 19:55:18
1948年秋,东野前指专列深夜误入拉林站,一参谋失眠下车瞥见站牌,刘亚楼急调车头死里逃生

1948年秋,东野前指专列深夜误入拉林站,一参谋失眠下车瞥见站牌,刘亚楼急调车头死里逃生

磊子讲史
2026-11-18 17:35:27
退役上将回乡扫墓,被镇长儿子拦路,他问:认识我车上挂的牌子吗

退役上将回乡扫墓,被镇长儿子拦路,他问:认识我车上挂的牌子吗

麦子情感故事
2026-11-21 20:59:11
50岁舒淇状态吊打同龄人,极致自律曝光:几乎不乱吃,有空就运动

50岁舒淇状态吊打同龄人,极致自律曝光:几乎不乱吃,有空就运动

观鱼听雨
2026-11-21 19:16:00
《GTA6》猝不及防的限制内容,导致多少知名主播惨遭封禁

《GTA6》猝不及防的限制内容,导致多少知名主播惨遭封禁

街机时代
2026-11-21 11:55:05
为什么很多人看不惯领高退休金的老人

为什么很多人看不惯领高退休金的老人

小禾的半糖生活
2026-11-19 13:20:03
3换1大成功!湖人,这也太值了!

3换1大成功!湖人,这也太值了!

左右为篮
2026-11-21 11:11:30
回到东京之前,高市再被问台海问题,她的回答又让日本媒体发愁

回到东京之前,高市再被问台海问题,她的回答又让日本媒体发愁

影孖看世界
2026-11-22 03:36:23
黄仁勋老婆给他买的皮衣怎么办?网友:“千算万算,没想到他离婚会波及到我啊!”

黄仁勋老婆给他买的皮衣怎么办?网友:“千算万算,没想到他离婚会波及到我啊!”

LOGO研究所
2026-11-09 19:40:24
大局已定!明后年,退休金3000以上的老人,务必4不做

大局已定!明后年,退休金3000以上的老人,务必4不做

老孙说
2026-11-22 09:14:47
突发!曝重庆酉阳“泰拳小将”李鹏科去世,年仅19岁,多次获得泰国级别冠军, 知情人曝细节

突发!曝重庆酉阳“泰拳小将”李鹏科去世,年仅19岁,多次获得泰国级别冠军, 知情人曝细节

裕丰娱间说
2026-11-22 10:27:55
今日重要赛事!11月22日,央视CCTV5、CCTV5+节目表

今日重要赛事!11月22日,央视CCTV5、CCTV5+节目表

薇说体育
2026-11-22 10:30:22
穆里尼奥:周二维尼修斯首发,免得你们周一又问

穆里尼奥:周二维尼修斯首发,免得你们周一又问

懂球帝
2026-11-22 10:00:50
iPhone Duo 多平台继续大降价!真的狠

iPhone Duo 多平台继续大降价!真的狠

花果科技
2026-11-22 09:52:35
一次爆出黑料超过33年总和!纽约时报发长文痛批黄仁勋:当众折磨当下属成人礼、所有高管都是受害者

一次爆出黑料超过33年总和!纽约时报发长文痛批黄仁勋:当众折磨当下属成人礼、所有高管都是受害者

可达鸭面面观
2026-11-22 00:02:18
被淘汰后老公放话:我每天看她裸着刷牙

被淘汰后老公放话:我每天看她裸着刷牙

追星雷达站
2026-11-20 08:01:08
白宫记者:APEC欢迎宴会上 特朗普跳起标志性舞蹈

白宫记者:APEC欢迎宴会上 特朗普跳起标志性舞蹈

看看新闻Knews
2026-11-21 13:01:19
2026-11-22 12:40:49

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

牛弹琴:联合国秘书长的热门候选 可能被中方一票否决

头条要闻

牛弹琴:联合国秘书长的热门候选 可能被中方一票否决

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

杨迪戴东北绒帽在黑龙江漠河舞厅跳舞

财经要闻

金价跌破3550美元,分析称短期下行未逆转

汽车要闻

旗舰纯电大六座 2027款岚图泰山将于广州车展预售

态度原创

时尚
家居
房产
健康
手机

我们总说爱动物,但我们真的懂得如何善待它们吗?

家居要闻

2026建博会(广州) 公装联探展交流活动

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

医生眼里"很伤腰"的椅子,很多人天天坐

手机要闻

DOOGEE Wide Core亮相,6500mAh电池、紫光展锐T7250处理器

无障碍浏览 进入关怀版
×