网易首页 > 网易号 > 正文 申请入驻

18.03微秒压到2.04微秒,国产卡把推理账算细了

0
分享至

“大模型在上半场已经证明了我们可以打造出世界级的模型。但下半场更重要的是,如何把这些模型的能力变成高质量、低成本、稳定供给的、有价值的 Token 能力。”北京智源人工智能研究院林咏华在开场演讲中抛出这句话时,背景是海外算力通道刚刚收窄。


11 月 16 日,美国商务部工业与安全局(BIS)最新出口管制政策正式落地,限制范围从芯片实物进一步延伸至远程算力访问,意在封堵中国企业通过海外数据中心获取先进 AI 算力的路径。第二天,智源与清昴智能在“国芯国模 自主生态”2026 清昴 AI 伙伴大会暨 Token 工厂年会上,联合发布了“国产 Token 工厂端到端推理优化方案”,基于众智 FlagOS 正式上线基于国产芯片的商用 Token 工厂。

需求侧在倒逼本土算力承接真实业务,供给侧却同样紧俏——国产推理芯片在制造与封装环节也面临更严苛的审查。于是问题落到工程层面:在现有的国产新卡与海量存量集群之上,怎么把每一张卡榨出更高、更稳、算得平经济账的“有效 Token 产能”。

两把剪刀:模型按月迭代,硬件两三年一换

林咏华点出了两个现实矛盾。其一是模型迭代与硬件基建之间的“周期剪刀差”:主流大模型几乎以月甚至以周为单位更新架构,底层算力基础设施往往两到三年才更新换代一批。软件层跟不上,昂贵的硬件刚部署不久就会面临跑不动新模型的尴尬。

其二是算力成本与供应链安全。林咏华用工业时代的“电价”作比:中国制造业的竞争力很大程度上源于低电价,而电力供应的底气来自九成以上依赖本土煤炭的能源结构;推演到智能时代,行业期盼的是亲民的百万 Token 单价,底气则取决于底层算力供给能否扎根国内。

矛盾还在于计量单位对不上。硬件侧按卡、按规模采购,应用侧要的却是按秒交付的 Token。清昴智能创始人兼 CEO 关超宇的说法是,两者之间亟需一座高效“翻译器”,把闲置、异构、难用的国产算力组织成可计量、高可靠的标准化产能。

“无论在 CPU 时代还是 AI 芯片时代,都不可能由一款芯片包揽天下。”林咏华认为,国内并不缺少优秀的芯片厂商,真正稀缺的是能让所有硬件共享的软硬件协同生态。李炎则点破工程团队的切身痛点:面对百花齐放的模型与芯片,产业不能每发布一个模型、每推出一款芯片就从头做一次底层适配与算子重写。

FlagOS 的账本:21 家芯片企业、35 款芯片

这正是智源过去四年联合高校与芯片厂商推进开源 FlagOS 的初衷——用一套开放、统一、可复用的系统软件栈,让同一套算子与编译系统在不同硬件上共享优化经验。

  • 生态规模:已汇聚 21 家芯片企业与 86 家生态伙伴,覆盖 35 款 AI 芯片
  • 底层构成:通用算子库 FlagGems、训推并行框架 FlagScale、统一编译器 FlagTree、统一通信库 FlagCX
  • 算子沉淀:9 大算子库累计超过 1,454 个开源 Triton 算子,其中近八百个在至少 5 款国产芯片上达到原生算子 80% 以上的性能
  • 框架策略:不 fork 上游代码库,通过插件化机制零侵入接入 vLLM、SGLang、Megatron-LM 等主流社区生态,单个代码仓库覆盖 20 家厂商后端

过去半年,这套机制多次完成新模型发布当天(Day0)即同步跑通多达 12 款芯片的验证。

微秒级内核:Prefill 与 Decode 分开下药

对追求商业盈利的 Token 工厂而言,模型“能跑通”只是及格线,延迟和吞吐才决定服务质量与盈利空间。此次方案把优化推进到了华为昇腾 910C 集群的微秒级内核,主攻智谱 GLM-5.3 与 GLM-5.3-Flash。

李炎解释,推理在计算密集的 Prefill 阶段和访存密集的 Decode 阶段瓶颈截然不同,必须对症下药。Prefill 阶段针对 GLM-5.3-Flash 的混合注意力架构,团队重构了大小块计算路径,协调芯片内部的向量与矩阵计算单元并行分工,省去中间结果的频繁片外搬运。在 81,920 输入长度、16 并发的测试中,波次吞吐提升 3.41%;在 256K 超长输入下,TTFT p50 下降 4.94%。

Decode 阶段受访存带宽掣肘最严重,团队对碎片化算子做了深度融合:通过 LI 量化写回技术,把原本分步执行的动态量化、尺度转换与 HBM 缓存写回合并进同一个内核。在 910C 微基准测试中,原生链路耗时从 18.03 微秒压缩至 2.04 微秒,接近 9 倍提速;叠加针对小批量输入的向量路径定制,端到端商业场景实测中 Decode 阶段 ITL 整体下降超过 10%,TPOT 降低 8% 以上。

这些红利不靠堆硬件,纯粹来自底层内核重构,同等算力规模下能承接更高的并发商业流量。

存量 910B:48 张卡跑通 1M 上下文

比新卡冲刺更现实的难题是存量资产。市场上已部署大量昇腾 910B 服务器,面对动辄支持百万(1M)上下文的新一代模型,老卡往往显存与算力双重告急。

“GLM-5.3-Flash 和 DeepSeek-V4.1-Flash 这样的 Flash 类模型,其实是国产存量卡的天选之子。”李炎给出的判断是,与其等硬件换代,不如用系统软件架构把存量 910B 的潜力挖透。

在智源内部的 BAAI Token Hub 上,团队基于 FlagOS 全栈把 48 张存量 910B 组织为“Prefill 与 Decode 分离”的推理集群,稳定跑通支持 1M 上下文的 GLM-5.3-Flash 服务:32 张卡组成 4 个 Prefill 域消化长序列输入,另外 16 张卡组成 8 个 Decode 域保障多并发流式输出。该服务已连续稳定运行两周,线上 TTFT P50 保持在 2.3 秒左右,TPOT P50 稳定在 22 毫秒。

更进一步的效率跃升来自缓存与搬运链路重构。团队在框架插件侧打通跨 Prefill 域的 Prefix Cache 复用,把缓存拆为本地显存、私有主机内存与共享主机内存三级存储,并结合分段 SDMA 优化,将零散内存页合并成连续传输段以拉高 PCIe 带宽利用率。实测前缀命中率从 82.65% 推升至 94.15%,复用阶段首字时延中位数从 16.63 秒降至 3.10 秒,降幅 81.4%。

这意味着企业与科研院所手中大批存量 910B 集群无需推倒重建,软件栈升级即可承接长上下文商业服务。林咏华还透露,基于 FlagOS 统一技术栈,智源仅用两周便完成了对华为 910B-T 芯片关键大模型算子的适配与性能优化。

多芯横向印证

统一软件栈的价值不能只在单一芯片上验证。峰会现场公布的多芯实测显示:在平头哥 810E 上,FlagOS 2.2 帮助 DeepSeek-V4.1-Flash 推理性能提升 77% 至 82%,实现 16 路并发可用、最高支持 80 并发,每请求解码速度达到 136.2 tok/s;在海光 BW1100 上,GLM-5.3-Flash 推理性能提升 25% 以上,多并发下单路吞吐突破 80 TPS。

林咏华在演讲最后给产业伙伴的承诺是“保驾护航”:“无论你手里是已经运行多年的存量集群,还是正在部署的新一代芯片,乃至未来即将问世的新架构硬件,都不用担心上面运行不了最新的模型。”

算力竞争转向比拼“有效 Token”的当下,一个开放、可复用的系统软件底座,正在成为国产算力打破周期束缚的关键支点。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
被评为“最没有营养的蔬菜”,却有很多人吃,你注意到了吗

被评为“最没有营养的蔬菜”,却有很多人吃,你注意到了吗

爆炸营养彭鑫蕊
2026-11-15 13:23:18
没想到,《多喜一家人》播出仅1天,赵丽颖反被推上风口浪尖

没想到,《多喜一家人》播出仅1天,赵丽颖反被推上风口浪尖

杜鱂手工制作
2026-11-18 17:54:59
曼彻斯特永远是蓝色的?波切蒂诺:给我时间,我将扭转局面!

曼彻斯特永远是蓝色的?波切蒂诺:给我时间,我将扭转局面!

懂球帝
2026-11-18 16:15:51
A股三大板块,爆发!

A股三大板块,爆发!

证券时报
2026-11-18 16:28:03
裁员传闻辟谣之后,腾讯三季报出炉!继续疯狂烧钱,三季度资本开支暴增527%,达814.3亿元,自由现金流负691亿元,股价一年多重挫45%

裁员传闻辟谣之后,腾讯三季报出炉!继续疯狂烧钱,三季度资本开支暴增527%,达814.3亿元,自由现金流负691亿元,股价一年多重挫45%

金融界
2026-11-18 17:48:16
这国家快被中国“买”下了?美女遍地,10个移民中就有9个中国人!

这国家快被中国“买”下了?美女遍地,10个移民中就有9个中国人!

午夜搭车a
2026-11-18 09:36:18
这样的女人是极品中的极品

这样的女人是极品中的极品

风起见你
2026-11-03 12:37:03
再见,巴萨!后防“顶星”同意签约利物浦!钦点顶级中卫“空降”

再见,巴萨!后防“顶星”同意签约利物浦!钦点顶级中卫“空降”

头狼追球
2026-11-18 16:47:01
离谱!哈儿毛血旺再度涨价,卖到 6666 元一份,探店女博主当场被惊到

离谱!哈儿毛血旺再度涨价,卖到 6666 元一份,探店女博主当场被惊到

川渝视觉
2026-11-17 19:57:30
疯狂?丹麦读秒从晋级到出局!积9分仍恐降级:携0分队去踢附加赛

疯狂?丹麦读秒从晋级到出局!积9分仍恐降级:携0分队去踢附加赛

我爱英超
2026-11-18 07:01:23
央媒发文,官宣曹德旺新身份,移民美国转走资产跑路传闻早有真相

央媒发文,官宣曹德旺新身份,移民美国转走资产跑路传闻早有真相

叨唠
2026-11-18 20:20:32
传腾讯内部空前危机感:AI也会被替代!

传腾讯内部空前危机感:AI也会被替代!

城事堂
2026-11-17 00:05:10
看德国悲惨现状就明白:中国为何坚决打击性交易,原因不言自明

看德国悲惨现状就明白:中国为何坚决打击性交易,原因不言自明

怪味历史连连看
2026-07-01 14:49:12
重庆双胞胎器官衰竭,医院却查不出病因,父亲煮面时发现致命线索

重庆双胞胎器官衰竭,医院却查不出病因,父亲煮面时发现致命线索

天梦见证
2025-04-01 20:46:34
特朗普:莫迪是一个非常强硬的人,而高市早苗可能还要更强硬

特朗普:莫迪是一个非常强硬的人,而高市早苗可能还要更强硬

探索新高度
2026-11-18 08:44:32
张佳宁被曝怀胎仅两月,张晓龙三胎首度曝光,两人关系早已难掩

张佳宁被曝怀胎仅两月,张晓龙三胎首度曝光,两人关系早已难掩

钟厨娘
2026-11-16 23:57:40
普京获报:乌军炸塌克里米亚大桥部分桥拱,克宫:一定修,还要修得更好

普京获报:乌军炸塌克里米亚大桥部分桥拱,克宫:一定修,还要修得更好

桂系007
2026-11-17 22:06:40
iPhone Duo铰链卡死被拒保!博主直接给库克发邮件:苹果终于松口

iPhone Duo铰链卡死被拒保!博主直接给库克发邮件:苹果终于松口

快科技
2026-11-18 07:43:05
克宫承认克里米亚大桥被炸塌,佩斯科夫称大桥将被修复且“比以前更好”

克宫承认克里米亚大桥被炸塌,佩斯科夫称大桥将被修复且“比以前更好”

山河路口
2026-11-17 19:41:55
不报隔夜仇,泽连斯基发难炸断克里米亚大桥,俄军反击招招狠辣

不报隔夜仇,泽连斯基发难炸断克里米亚大桥,俄军反击招招狠辣

风笛悠扬声
2026-11-18 05:36:03
2026-11-18 21:19:00
碳基打工人
碳基打工人
坐标北京,靠咖啡续命,靠小红书下饭的普通人类。
232文章数 91关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

游客花1600元买的烤全羊剥不出1两肉 官方通报

头条要闻

游客花1600元买的烤全羊剥不出1两肉 官方通报

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

本地
健康
房产
手机
公开课

本地新闻

乌兰察布:以前种土豆,现在种Token

医生眼里"很伤腰"的椅子,很多人天天坐

房产要闻

周大生出手!海棠湾又一大商业体来了

手机要闻

消息称荣耀明年没有常规大折叠手机,取而代之的是阔折叠

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版