“大模型在上半场已经证明了我们可以打造出世界级的模型。但下半场更重要的是,如何把这些模型的能力变成高质量、低成本、稳定供给的、有价值的 Token 能力。”北京智源人工智能研究院林咏华在开场演讲中抛出这句话时,背景是海外算力通道刚刚收窄。
![]()
11 月 16 日,美国商务部工业与安全局(BIS)最新出口管制政策正式落地,限制范围从芯片实物进一步延伸至远程算力访问,意在封堵中国企业通过海外数据中心获取先进 AI 算力的路径。第二天,智源与清昴智能在“国芯国模 自主生态”2026 清昴 AI 伙伴大会暨 Token 工厂年会上,联合发布了“国产 Token 工厂端到端推理优化方案”,基于众智 FlagOS 正式上线基于国产芯片的商用 Token 工厂。
需求侧在倒逼本土算力承接真实业务,供给侧却同样紧俏——国产推理芯片在制造与封装环节也面临更严苛的审查。于是问题落到工程层面:在现有的国产新卡与海量存量集群之上,怎么把每一张卡榨出更高、更稳、算得平经济账的“有效 Token 产能”。
两把剪刀:模型按月迭代,硬件两三年一换
林咏华点出了两个现实矛盾。其一是模型迭代与硬件基建之间的“周期剪刀差”:主流大模型几乎以月甚至以周为单位更新架构,底层算力基础设施往往两到三年才更新换代一批。软件层跟不上,昂贵的硬件刚部署不久就会面临跑不动新模型的尴尬。
其二是算力成本与供应链安全。林咏华用工业时代的“电价”作比:中国制造业的竞争力很大程度上源于低电价,而电力供应的底气来自九成以上依赖本土煤炭的能源结构;推演到智能时代,行业期盼的是亲民的百万 Token 单价,底气则取决于底层算力供给能否扎根国内。
矛盾还在于计量单位对不上。硬件侧按卡、按规模采购,应用侧要的却是按秒交付的 Token。清昴智能创始人兼 CEO 关超宇的说法是,两者之间亟需一座高效“翻译器”,把闲置、异构、难用的国产算力组织成可计量、高可靠的标准化产能。
“无论在 CPU 时代还是 AI 芯片时代,都不可能由一款芯片包揽天下。”林咏华认为,国内并不缺少优秀的芯片厂商,真正稀缺的是能让所有硬件共享的软硬件协同生态。李炎则点破工程团队的切身痛点:面对百花齐放的模型与芯片,产业不能每发布一个模型、每推出一款芯片就从头做一次底层适配与算子重写。
FlagOS 的账本:21 家芯片企业、35 款芯片
这正是智源过去四年联合高校与芯片厂商推进开源 FlagOS 的初衷——用一套开放、统一、可复用的系统软件栈,让同一套算子与编译系统在不同硬件上共享优化经验。
- 生态规模:已汇聚 21 家芯片企业与 86 家生态伙伴,覆盖 35 款 AI 芯片
- 底层构成:通用算子库 FlagGems、训推并行框架 FlagScale、统一编译器 FlagTree、统一通信库 FlagCX
- 算子沉淀:9 大算子库累计超过 1,454 个开源 Triton 算子,其中近八百个在至少 5 款国产芯片上达到原生算子 80% 以上的性能
- 框架策略:不 fork 上游代码库,通过插件化机制零侵入接入 vLLM、SGLang、Megatron-LM 等主流社区生态,单个代码仓库覆盖 20 家厂商后端
过去半年,这套机制多次完成新模型发布当天(Day0)即同步跑通多达 12 款芯片的验证。
微秒级内核:Prefill 与 Decode 分开下药
对追求商业盈利的 Token 工厂而言,模型“能跑通”只是及格线,延迟和吞吐才决定服务质量与盈利空间。此次方案把优化推进到了华为昇腾 910C 集群的微秒级内核,主攻智谱 GLM-5.3 与 GLM-5.3-Flash。
李炎解释,推理在计算密集的 Prefill 阶段和访存密集的 Decode 阶段瓶颈截然不同,必须对症下药。Prefill 阶段针对 GLM-5.3-Flash 的混合注意力架构,团队重构了大小块计算路径,协调芯片内部的向量与矩阵计算单元并行分工,省去中间结果的频繁片外搬运。在 81,920 输入长度、16 并发的测试中,波次吞吐提升 3.41%;在 256K 超长输入下,TTFT p50 下降 4.94%。
Decode 阶段受访存带宽掣肘最严重,团队对碎片化算子做了深度融合:通过 LI 量化写回技术,把原本分步执行的动态量化、尺度转换与 HBM 缓存写回合并进同一个内核。在 910C 微基准测试中,原生链路耗时从 18.03 微秒压缩至 2.04 微秒,接近 9 倍提速;叠加针对小批量输入的向量路径定制,端到端商业场景实测中 Decode 阶段 ITL 整体下降超过 10%,TPOT 降低 8% 以上。
这些红利不靠堆硬件,纯粹来自底层内核重构,同等算力规模下能承接更高的并发商业流量。
存量 910B:48 张卡跑通 1M 上下文
比新卡冲刺更现实的难题是存量资产。市场上已部署大量昇腾 910B 服务器,面对动辄支持百万(1M)上下文的新一代模型,老卡往往显存与算力双重告急。
“GLM-5.3-Flash 和 DeepSeek-V4.1-Flash 这样的 Flash 类模型,其实是国产存量卡的天选之子。”李炎给出的判断是,与其等硬件换代,不如用系统软件架构把存量 910B 的潜力挖透。
在智源内部的 BAAI Token Hub 上,团队基于 FlagOS 全栈把 48 张存量 910B 组织为“Prefill 与 Decode 分离”的推理集群,稳定跑通支持 1M 上下文的 GLM-5.3-Flash 服务:32 张卡组成 4 个 Prefill 域消化长序列输入,另外 16 张卡组成 8 个 Decode 域保障多并发流式输出。该服务已连续稳定运行两周,线上 TTFT P50 保持在 2.3 秒左右,TPOT P50 稳定在 22 毫秒。
更进一步的效率跃升来自缓存与搬运链路重构。团队在框架插件侧打通跨 Prefill 域的 Prefix Cache 复用,把缓存拆为本地显存、私有主机内存与共享主机内存三级存储,并结合分段 SDMA 优化,将零散内存页合并成连续传输段以拉高 PCIe 带宽利用率。实测前缀命中率从 82.65% 推升至 94.15%,复用阶段首字时延中位数从 16.63 秒降至 3.10 秒,降幅 81.4%。
这意味着企业与科研院所手中大批存量 910B 集群无需推倒重建,软件栈升级即可承接长上下文商业服务。林咏华还透露,基于 FlagOS 统一技术栈,智源仅用两周便完成了对华为 910B-T 芯片关键大模型算子的适配与性能优化。
多芯横向印证
统一软件栈的价值不能只在单一芯片上验证。峰会现场公布的多芯实测显示:在平头哥 810E 上,FlagOS 2.2 帮助 DeepSeek-V4.1-Flash 推理性能提升 77% 至 82%,实现 16 路并发可用、最高支持 80 并发,每请求解码速度达到 136.2 tok/s;在海光 BW1100 上,GLM-5.3-Flash 推理性能提升 25% 以上,多并发下单路吞吐突破 80 TPS。
林咏华在演讲最后给产业伙伴的承诺是“保驾护航”:“无论你手里是已经运行多年的存量集群,还是正在部署的新一代芯片,乃至未来即将问世的新架构硬件,都不用担心上面运行不了最新的模型。”
算力竞争转向比拼“有效 Token”的当下,一个开放、可复用的系统软件底座,正在成为国产算力打破周期束缚的关键支点。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.