网易首页 > 网易号 > 正文 申请入驻

高质量 Token 国产算力底座的工程路径

0
分享至

大模型开始处理长文档和多步骤任务时,算力系统的价值有了更具体的衡量尺度。在达到业务要求的模型效果与响应速度后,每一笔算力投入能持续交付多少有效 Token?

2026 年 10 月,江原科技在湾芯展《高质量token的国产算力之路》报告中提出,高质量 Token 有四项要求,分别是任务有效、响应及时、持续可靠和经济可用。实时交互看重等待时间,离线处理更关心在保证效果的前提下能否控制成本。[1]

公司成立四周年之际,江原进一步说明这些要求如何落实到产品设计。以商业可用为底线,以技术确定性为核心。每项技术选择从客户负载出发,先找准瓶颈,再通过端到端测试验证它对性能、功耗和成本的实际影响。



图1. 晶圆与多芯粒封装概念

一线应用为产品设计提供依据

根据湾芯展报告披露,江原已积累覆盖 21 类行业的 177 条适配记录。相关场景包括软件服务、政务、医疗、能源和教育。[1]模型跑通以后,客户仍要完成量化后的效果回归、业务接口联调、稳定性验证和版本维护。这些反复出现的工作,为江原判断哪些能力应进入通用平台提供了依据。

云侧和边端各自要解决什么

江原的战略覆盖云、边、端的训练与推理。两类部署对推理系统提出了不同要求。

边端侧要降低大模型应用的导入门槛。设备的功耗、内存和实时性决定资源配置。模型适配、精度回归和部署工具可以在不同项目中复用。

云侧要统筹算力、存储容量和带宽。集群需要支撑更大规模的模型服务,在高并发下提升有效吞吐,同时满足客户的响应要求。

以长文档问答为例,首次处理输入时,Prefill(输入处理)完成长输入计算并建立推理状态。随后,Decode(逐词元生成)不断访问模型权重与相关缓存,同时完成计算和必要的通信。模型结构、上下文长度和并发变化,都会改变两阶段的资源瓶颈。



图2. 长文档推理的数据路径。相同前缀的缓存命中后,系统仍需处理新输入并继续生成

后续请求命中相同前缀的 KV Cache(键值缓存)时,系统可减少重复计算。收益取决于缓存的驻留位置、取回时延和请求调度。增加算力、容量或带宽之后,应以完整服务的有效吞吐、首 Token 时延和持续生成速度衡量收益。

GPDSA 与国产工艺优化

江原以 DSA(领域专用架构)为基础,计划向GPDSA(通用化专用架构)演进。硬件可以针对大模型中高频的计算和访存模式优化,编译器、计算库和运行时则为模型结构、算子组合和部署方式的变化保留适配空间。这种协同,决定专用硬件的效率能在多大程度上转化为应用性能。

在既定国产工艺条件下,芯片设计可以从计算和访存通路入手,再结合逻辑与物理实现,权衡性能、功耗和面积。计算单元能效改善后,还要看存储访问、跨芯片通信、供电和散热是否成为新瓶颈,才能判断整机收益。



图3. 既定工艺条件下的设计与实现优化示意

江原已围绕国产工艺条件下的架构与实现优化开展相关工作。后续将用目标负载检验整机性能、功耗和成本,并评估制造与交付条件。

HBM 与 HBF 的存储分层

模型权重、会话状态和上下文规模的增长,让推理系统同时面临带宽、容量和成本的约束。HBM(高带宽内存)承担高频数据访问,HBF(高带宽闪存)为扩展近计算侧容量提供候选路径。两者如何分工,需要看权重和缓存的访问频率、读写比例以及时延要求。[2]



图4. HBM 与 HBF 混合存储的研究示意

以长上下文为例,活跃会话的 KV Cache 随模型结构、上下文和并发变化。对访问敏感的数据可以优先留在高速层,访问较少且适于批量读取的数据可评估放入容量层。容量收益能否覆盖数据取回和迁移开销?这需要用实际访问粒度、有效读写带宽、尾时延与可靠性来检验,也要考察缓存、预取和调度的配合。

另一项探索是让部分受访存限制的处理更贴近数据所在位置。存内相关优化有机会减少搬运。要进入产品评估,还需明确目标算子、数值精度、数据复用和编程支持,并把数据转换和结果交换的代价计入系统收益。

异构 Chiplet 与软件平台复用

在江原的规划中,异构 Chiplet(芯粒)支持计算、I/O 等功能模块独立迭代。不同模块通过封装和系统设计按需组合。云侧按模型和集群规模配置算力、存储与互联。边端按设备的功耗、接口与成本配置资源。不同产品由此有机会共享部分研发成果。



图5. 异构 Chiplet 的模块复用示意

硬件复用能否带来实际收益,要看互联、封装、测试与散热约束,也要看软件能否共享模型适配、工具链和部署接口。江原在湾芯展报告中展示了自研软件栈,覆盖编译、运行时、计算库、通信库与性能分析。后续平台建设将围绕模型支持泛化、精度回归、算子优化和应用部署推进。

这条路线的价值可通过实际项目检验。硬件侧看不同配置的开发周期和可交付性,软件侧看模型能否顺利迁移、客户导入时间能否缩短、后续版本是否更容易维护。

用业务负载验证系统收益

评估高质量 Token,要让模型版本、量化方式、输入输出长度、并发和服务要求保持一致。在可比条件下记录首 Token 时延、持续生成速度、有效吞吐和长时间运行表现。缓存命中与未命中分别测量,并记录 P95 等时延分位数,观察响应较慢的请求。



图6. 推理系统验证口径示意

核算百万 Token 成本时,需计入设备投入、能耗、利用率和运维开销。分别计量输入处理与输出生成,再按业务负载组合比较。对于多步骤任务,还应同时看任务完成率和完成任务的总成本,避免单项吞吐改善掩盖实际效果或体验下降。

新型存储、国产工艺实现与存内相关探索,将随技术评估和验证逐步推进。后续会重点评估软件支持、制造交付条件和系统经济性。江原希望在真实业务中兑现这条工程路线,让国产算力以客户可以接受的成本,持续交付达到效果和服务要求的 Token。



图7. 江原科技全栈产品图

资料来源

[1] 江原科技 湾芯展《高质量token的国产算力之路》演讲回顾https://www.enrigin.com.cn/news/view?id=260

[2] Sandisk HBF 技术资料及 OCP 规格发布说明

https://www.sandisk.com/company/newsroom/press-releases/2026/2026-08-03-Sandisk-and-sk-hynix-advance-global-standardization-of-hbf

*免责声明:本文由作者原创。文章内容系作者个人观点,半导体行业观察转载仅为了传达一种不同的观点,不代表半导体行业观察对该观点赞同或支持,如果有任何异议,欢迎联系半导体行业观察。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
说出来你都不敢信,美国总统飞一趟中国,花出去的钱足足能买3辆全新的劳斯莱斯!

说出来你都不敢信,美国总统飞一趟中国,花出去的钱足足能买3辆全新的劳斯莱斯!

扶苏聊历史
2026-11-20 15:37:24
超湖人重返西部第1!文班50+19+5封盖NBA历史第一人,马刺大胜鹈鹕

超湖人重返西部第1!文班50+19+5封盖NBA历史第一人,马刺大胜鹈鹕

钉钉陌上花开
2026-11-22 11:26:15
9连胜!头号黑马冲到英超第4:连续3个3-0打爆3大豪强 创127年历史

9连胜!头号黑马冲到英超第4:连续3个3-0打爆3大豪强 创127年历史

风过乡
2026-11-22 08:12:54
APEC峰会散场后,苏林没有返回越南,为何反而又去了云南?

APEC峰会散场后,苏林没有返回越南,为何反而又去了云南?

共工之锚
2026-11-22 20:52:24
上海一男子提供“上门服务”教自行车,被冤枉“涉黄”,100%好评遭下架!平台回应:不存在“错误处罚”

上海一男子提供“上门服务”教自行车,被冤枉“涉黄”,100%好评遭下架!平台回应:不存在“错误处罚”

新民晚报
2026-11-22 14:12:07
美国要禁止中国运营商获得电话号码资源,意味着什么?

美国要禁止中国运营商获得电话号码资源,意味着什么?

点评校尉
2026-11-22 19:30:37
金价真的是一夜大变天!2026年11月22日黄金新价更新,足金与银行金条价

金价真的是一夜大变天!2026年11月22日黄金新价更新,足金与银行金条价

爱看剧的阿峰
2026-11-22 14:00:49
约中年女人出来玩,大胆一点,女人不论多大,这3招都可以搞定

约中年女人出来玩,大胆一点,女人不论多大,这3招都可以搞定

千秋文化
2026-11-21 21:19:47
湖人内讧:东契奇公开指责队友不防守,詹姆斯从来没有这么干过

湖人内讧:东契奇公开指责队友不防守,詹姆斯从来没有这么干过

姜大叔侃球
2026-11-22 12:13:45
深圳交警:向大家致以最诚挚的感谢和最崇高的敬意;最新提醒:外地车限行时段,恢复常态

深圳交警:向大家致以最诚挚的感谢和最崇高的敬意;最新提醒:外地车限行时段,恢复常态

深圳梦
2026-11-22 21:33:06
还有隐私吗?曝部分地区光猫里藏了一串代码,专门记用户看了哪些股票

还有隐私吗?曝部分地区光猫里藏了一串代码,专门记用户看了哪些股票

可达鸭面面观
2026-11-22 09:42:31
擦边自拍、霸凌同事、媒体点名?顶流女星一周三条丑闻,件件离谱

擦边自拍、霸凌同事、媒体点名?顶流女星一周三条丑闻,件件离谱

孤城落日
2026-11-21 10:47:05
澳洲女记者粗壮手臂抢镜,肌肉成焦点,播放超1300万次

澳洲女记者粗壮手臂抢镜,肌肉成焦点,播放超1300万次

让生活充满温暖
2026-11-22 20:09:09
苏州一男子花800元买了张仿真虎皮坐垫,在院里晾晒,被路过孩子误传“有人杀老虎”,当事人:吓了一跳,林业局找上门,派出所也准备出警

苏州一男子花800元买了张仿真虎皮坐垫,在院里晾晒,被路过孩子误传“有人杀老虎”,当事人:吓了一跳,林业局找上门,派出所也准备出警

浙江卫视
2026-11-21 15:11:12
6-0!英锦赛诞生惨案:首轮中国军团8胜4负收官,丁俊晖对手确定

6-0!英锦赛诞生惨案:首轮中国军团8胜4负收官,丁俊晖对手确定

小火箭爱体育
2026-11-22 21:33:35
记者:伯里斯血统比李凯尔还纯,不过他本人对归化没特别想法

记者:伯里斯血统比李凯尔还纯,不过他本人对归化没特别想法

懂球帝
2026-11-22 20:47:07
七万狂跌至两万八!珠海横琴神话破灭,澳门炒客排队断供逃亡

七万狂跌至两万八!珠海横琴神话破灭,澳门炒客排队断供逃亡

珠三角港
2026-11-20 10:44:17
1胜16负联盟倒数第一!硬留超巨的后果,或打破历史最差战绩

1胜16负联盟倒数第一!硬留超巨的后果,或打破历史最差战绩

你的篮球频道
2026-11-22 10:07:24
64岁女总统挤民航经济舱来开会,“寒酸”还是正常?

64岁女总统挤民航经济舱来开会,“寒酸”还是正常?

山间听雨
2026-11-20 19:27:54
特朗普:预计所有主要世界领导人将出席下个月在美举行的G20峰会

特朗普:预计所有主要世界领导人将出席下个月在美举行的G20峰会

天气观察站
2026-11-22 14:39:12
2026-11-23 02:04:49
半导体行业观察
半导体行业观察
专注观察全球半导体行业资讯
15362文章数 35069关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

家居
时尚
亲子
手机
军事航空

家居要闻

2026建博会(广州) 公装联探展交流活动

这些才是适合50岁女性的穿搭!衣服不花哨、不老气,得体又自然

亲子要闻

宝宝必看的5个启蒙动画,豆瓣评分都是在9.0以上

手机要闻

星芒OSTA O1 Pro新机确认支持华为自研Wi-Fi 7+芯片级协同技术

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版