网易首页 > 网易号 > 正文 申请入驻

当“Token工厂”进入国芯时代:大模型商业化竞争悄然移向芯片

0
分享至

来源:环球网

【环球网科技综合报道】“建一座能赚钱、扛得住大流量的 Token 工厂,绝不是买来算力卡插上电就万事大吉。” 清昴智能创始人兼 CEO 关超宇说道。

在他看来,早年铺下去的 A100、H20 及更早期国产卡并非面向混合专家架构与百万上下文设计,硬件上限本就有限。更普遍的问题出在软件栈:Agent 长上下文场景下,Prefill 阶段算力消耗大,Decode 阶段受限于键值缓存的显存带宽,混合运行时容易出现“算力等数据、带宽被挤占”的情况。即便换成新一代高算力芯片,软件协同不到位,同样难以获得具备商业竞争力的吞吐效率。

更现实的挑战,是模型按周迭代与二十余家芯片之间的落差。各家微架构与底层指令集互不兼容。

由北京智源人工智能研究院牵头、已开源四年的统一系统软件栈 FlagOS,成为填补这一生态断层的关键,也是清昴等商业团队的底层选择。

从清昴这类一线 Token 工厂的视角来看,迭代至 2.2 版本的 FlagOS 承接了最繁重、最容易重复消耗人力的底层工作。这套开源底座基于 Triton 沉淀了超过一千四百五十个通用算子,统一编译器 FlagTree 在单一代码仓库下覆盖了二十家芯片厂商的后端,把主流推理与训练框架直接对接到多元算力上,给 Token 工厂省去了大量底层重复开发工作。

开源软件栈如何提升产线算法上限

一线商业团队将 FlagOS 接入业务流水线,带来的改变不仅是省下工期,更直接提升了商业公司核心优化算法的工程上限。但让 AI 自己去优化硬件,在工程上存在一道隐形门槛。

关超宇提到这个核心难点:“要让 AI 学会优化 AI,前提是算法必须先看懂基础设施长什么样,知道底层有哪些硬件细节和边界条件需要注意。 如果直接把底层的裸硬件指令空间暴露给自动调优算法,虽然表面上灵活性最大,但这个搜索空间会变得极其‘稀疏’,算法在参数空间中稍有偏差,就会触发硬件报错或性能下降,很难搜索出稳健的可用方案。”

而 FlagOS 提供的标准化编译器、三层渐进式抽象以及经过严格验证的 Triton 统一算子生态,相当于在裸硬件之上铺平了一层高确定性的中间层。接入 FlagOS 工具链,配合其内置自动调优器将搜索提效二百九十八倍的能力,原本稀疏的搜索空间变得“密集”起来,自动调优算法能找到的有效可行解大幅增加,整条产线的探优效率随之提升。

即便面向未来完全由 AI 自主生成算子的演进趋势,这套公共底座也不会被边缘化,其作为工程支点的价值愈发凸显。正如关超宇所判断的,任何自我进化的优化系统要稳定、高效运行,都必须建立在完善的观测体系、衡量基准和基础工具链之上,没有哪一套单一系统能够从零完成所有的底层环节。未来的 FlagOS 编译器与算子库本身,也会持续吸纳这种自动迭代的思路向前演进。

另一方面,FlagOS 在开源形态上保持了克制。

过去不少基础软件开源项目追求“大而全”,试图把所有逻辑收进一个封闭完整的单体系统里,商业团队采用后往往被整套框架绑定,丧失面向客户定制的灵活性,遇到线上真实流量波动也难以调整。FlagOS 提供了一套完整可用的参考系统,同时把 FlagTree 编译器、FlagGems 融合算子库、FlagCX 通信库以及各类引擎插件拆分为高度解耦的标准化模块。商业团队可以根据真实产线需求,选取使用频率最高、最适配的模块接入自身系统,即插即用。底层跨芯片适配工作由公共底座承担后,商业公司的研发节奏随之改善,工程师可以把精力集中在高阶的内存编排、异构调度与产线利润优化上。

商业交付遭遇性能卡点,联合调优实现国芯突破

理论架构最终都要接受真实企业机房的检验。清昴等团队将国芯 Token 工厂推向一线交付时,遇到了具体的性能问题。一方面,行业客户要求在新一代旗舰集群华为昇腾 910C 上线智谱最新的 GLM-5.3-Flash 模型,原生链路运行速度只有每秒二十多个 Token,难以支撑企业级在线交互,无法通过客户验收。另一方面,国内机房里已有大量上线的存量 910B 服务器,但在面对百万级上下文的 Agent 高频多轮对话时,传统部署的首字延迟动辄高达十几秒,集群吞吐偏低,算力资产利用率不高。

面对这些影响商业落地的痛点,硬件底座本身已具备条件——无论是昇腾 910C 内部 Cube 矩阵单元与 Vector 向量单元的协同潜力,还是存量 910B 的集群规模,都足以支撑高强度推理,所缺的是打通开源模型生态与硬件调度。

工厂侧团队联合开源社区,基于 FlagOS 底座开展“底层基建 + 业务深改”的联合调优,避免了重写底层栈的高昂代价。

在这一过程中,分工较为清晰。FlagOS 底座负责打通基础算子与编译链路。针对 GLM-5.3-Flash 的 DSA 加 KDA 混合注意力结构,联合团队借助 FlagOS 统一中间表示层已打通昇腾 CANN 开源生态的基础,调用 FlagGems 面向 vLLM 和 SGLang 的融合算子库与 FlagTree 编译优化,着力解决昇腾 910C 的计算协同与显存搬运问题。

联合调优取得了实际效果。在清昴的昇腾 910C 商业产线实测中,仅 Decode 阶段的优化就将字间延迟降低 10% 以上,每输出 Token 时间降低 8% 以上;叠加全链路业务调优后,GLM-5.3-Flash 在昇腾 910C 上的整体输出速度从二十多 TPS 提升至五十多 TPS,达到商业级可用水平。而在高并发智能体负载的存量 910B 集群验证中,这套联合架构同样取得成效。集群的前缀缓存命中率从 82.65% 提升至 94.15%,首字延迟中位数从 16.63 秒下降 81.4%,降至 3.10 秒,真实线上服务的中位首字延迟约 2.3 秒,单字生成间隔约 22 毫秒;整套系统的逻辑服务吞吐达到优化前的 2.04 倍,在指定条件下按租金折算,单位算力成本比对应的商业 API 计费参考低 19.4% 至 27.6%,使存量机柜的利用效率明显提高。

这种依托底座的方案并不局限于单一芯片。在平头哥 810E 上运行 DeepSeek-V4.1-Flash,推理性能相比厂商原生 SGLang 版本提升 77% 到 82%,可支撑 16 路并发与最大 80 路并发;在海光 BW1100 上运行 GLM-5.3-Flash,整体性能提升超过 25%,多并发下单路速度保持在 90 TPS 以上;在摩尔线程、沐曦以及英伟达等多款架构卡上,这套底座同样取得了超过厂商原生版本的吞吐表现。

通用软件栈在守住甚至提升性能的同时,让 Token 工厂具备了横跨多元硬件、平滑迁移交付的能力。(古雨)

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
最近刷屏的徐瑾,很多人叫她女保镖,其实她是国家外事特勤警官!

最近刷屏的徐瑾,很多人叫她女保镖,其实她是国家外事特勤警官!

江启
2026-11-22 09:49:52
江苏省委批准,毛伟履新

江苏省委批准,毛伟履新

呼呼历史论
2026-11-22 13:49:07
C罗何时在俱乐部退役?利雅得胜利怒了:我受够他了,夺冠别想了

C罗何时在俱乐部退役?利雅得胜利怒了:我受够他了,夺冠别想了

体育世界
2026-11-21 20:10:54
178元一瓶,“APEC晚宴荔枝酒”卖断货,员工:干冒烟了,加班费让人开心

178元一瓶,“APEC晚宴荔枝酒”卖断货,员工:干冒烟了,加班费让人开心

江山挥笔
2026-11-21 11:30:34
事态彻底升级了!北约没想到,普京出手就是狠招,俄罗斯导弹打到波兰,特朗普介入,引发舆论热议!

事态彻底升级了!北约没想到,普京出手就是狠招,俄罗斯导弹打到波兰,特朗普介入,引发舆论热议!

林杰论事
2026-11-22 03:01:27
神舟二十四号,传来重要消息!

神舟二十四号,传来重要消息!

普陀动物世界
2026-11-22 13:50:43
内塔尼亚胡:我提议,就由我来担任唯一的总理

内塔尼亚胡:我提议,就由我来担任唯一的总理

寰宇大观察
2026-11-21 14:12:23
“不把孩子带到这个世界,才是对孩子真正的负责”,成为了大部分90后、00后的想法

“不把孩子带到这个世界,才是对孩子真正的负责”,成为了大部分90后、00后的想法

舒山有鹿
2026-11-20 16:20:23
年会中了四十万的奔驰E300L,直接提车还是税后折现三十五万,这道题摆在普通中年夫妻面前,往往会吵出两种委屈

年会中了四十万的奔驰E300L,直接提车还是税后折现三十五万,这道题摆在普通中年夫妻面前,往往会吵出两种委屈

可读
2026-11-21 00:13:14
“长不大的巨婴,及时分手”!四川女生因糖葫芦被男友吃了一个暴怒,扔掉肯德基躺人行道打滚,男生满脸通红苦劝

“长不大的巨婴,及时分手”!四川女生因糖葫芦被男友吃了一个暴怒,扔掉肯德基躺人行道打滚,男生满脸通红苦劝

王老师你还好吗
2026-11-21 13:25:53
毛主席最初不想定都北京,到底是谁促使他下定决心的?

毛主席最初不想定都北京,到底是谁促使他下定决心的?

雍亲王府
2026-11-22 08:50:12
女子网购206块羊骨头,8岁儿子拼着玩:妈妈,这个好像个真人啊

女子网购206块羊骨头,8岁儿子拼着玩:妈妈,这个好像个真人啊

悬案解密档案
2025-06-13 10:44:43
上海老破小正在被人成片扫走

上海老破小正在被人成片扫走

老覃讲历史
2026-11-22 11:47:16
事态彻底升级了!俄怒射117枚导弹以牙还牙,欧称:乌克兰严冬再冷,也吓不倒欧洲,引发舆论热议!

事态彻底升级了!俄怒射117枚导弹以牙还牙,欧称:乌克兰严冬再冷,也吓不倒欧洲,引发舆论热议!

蔡蔡说史
2026-11-21 19:26:00
有人好奇,特朗普来了、普京来了、卡尼来了,连日韩领导人也来了,为什么唯独不见欧洲人?

有人好奇,特朗普来了、普京来了、卡尼来了,连日韩领导人也来了,为什么唯独不见欧洲人?

回京历史梦
2026-11-21 09:29:17
联合国人口基金发布报告,全球10万年轻人调查:70%的受访者想结婚,超9成想生娃 但也面临更多的困难

联合国人口基金发布报告,全球10万年轻人调查:70%的受访者想结婚,超9成想生娃 但也面临更多的困难

每日经济新闻
2026-11-22 12:53:00
佛山富婆覆灭史:她的奢靡与荒唐,只有你想不到没有她做不到

佛山富婆覆灭史:她的奢靡与荒唐,只有你想不到没有她做不到

锅锅爱历史
2026-11-22 05:13:05
印尼糖果厂火灾已致7人死亡 约50人失联 

印尼糖果厂火灾已致7人死亡 约50人失联 

新华社
2026-11-22 16:58:03
他匆忙逃出美国,20年后大摇大摆来到纽约,美国人还得恭敬相迎

他匆忙逃出美国,20年后大摇大摆来到纽约,美国人还得恭敬相迎

这才是战争
2026-11-21 15:52:40
美股遭遇恐慌性抛售 多家华尔街机构认为或只是牛市调整

美股遭遇恐慌性抛售 多家华尔街机构认为或只是牛市调整

财联社
2026-11-22 08:25:02
2026-11-22 18:19:00
环球网资讯 incentive-icons
环球网资讯
环球网,了解世界,融入世界
1464081文章数 2741376关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

老板闭店前给学生写信:不要删我 想看你们幸福过一生

头条要闻

老板闭店前给学生写信:不要删我 想看你们幸福过一生

体育要闻

全场挨打1比4溃败 阿隆索已过保质期?

娱乐要闻

杨迪戴东北绒帽在黑龙江漠河舞厅跳舞

财经要闻

金价跌破3550美元,分析称短期下行未逆转

汽车要闻

旗舰纯电大六座 2027款岚图泰山将于广州车展预售

态度原创

数码
时尚
亲子
教育
本地

数码要闻

内存价格暴涨下,华硕考虑将中低端PC内存由16GB降至8GB

这些才是适合50岁女性的穿搭!衣服不花哨、不老气,得体又自然

亲子要闻

4岁女儿幼儿园没白上,自己会叠衣服了,叠的比大人叠的都好

教育要闻

饮鸩止渴中的鸩指的是什么?难倒了语文老师

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

无障碍浏览 进入关怀版