山东
IT之家 5 月 22 日消息，智谱今日宣布面向部分企业客户提供 GLM-5.1 高速版 API“GLM-5.1-highspeed”。
该模型输出速度达到 400 tokens/s，刷新当前全球大模型厂商 API 的速度上限。
更重要的是，在过去，“快”往往意味着“小”，高速模型几乎总是轻量级模型。GLM-5.1 高速版打破了这一行业惯例，首次在国产大模型中，将旗舰级能力与低延迟同时带入生产环境。
GLM-5.1 高速版 API“GLM-5.1-highspeed”由智谱 GLM 团队与 TileRT 团队联合打造，在推理引擎、调度系统与底层基础设施三个层面进行了系统级优化：
- 推理引擎层：针对 GLM-5.1 的架构特点，重写了核心推理路径，提升了单卡吞吐能力；
- 调度系统层：通过动态批处理、请求合并和 KV 缓存调度优化，降低高并发场景下的尾延迟；
- 基础设施层：围绕推理集群部署、网络链路、负载均衡进行协同优化，确保 400 TPS 不是一个“峰值”数字，而是稳定可用的生产级能力。
模型推理速度的理论上限由硬件决定，但真实系统通常距离物理极限仍存在巨大差距。核心问题在于推理框架的调度方式。当前主流框架仍以 operator / kernel 作为基本调度单元，每个算子都要经历“host 启动 → 读权重 → 计算 → 写回 → 同步”的严格完整链路。当推理进入单 token、小 batch、多卡 TP 的场景后，算子被切到微秒级，原本可忽略的调度、访存与同步开销会被迅速放大。
TileRT 的设计思路，是彻底抛弃 Runtime 层的动态调度，在编译期（AOT）将整个计算图静态编排为一个常驻 GPU 的 persistent Engine Kernel。
- 在单卡之内，计算、异步 IO 与通信被全部拆解为 Tile 级微任务，整个推理过程只 Launch 一次 Engine Kernel，算子间的中间结果不再写回 Global Memory，而是经由 Register、Shared Memory 与 L2 Cache 直传，host 调度与跨算子同步被悉数压进同一个常驻 kernel。
- 在多卡尺度上，TileRT 进一步将 SM 内部的 Warp Specialization 思路外推到整张 8 卡 NVL 拓扑。不同 GPU rank 不再执行同构逻辑，而是按计算密度与数据依赖被特化为不同 worker。
GLM-5.1 高速版适用于 AI 编程、实时交互、商业决策、实时语音等对响应延迟要求高的场景，现已面向智谱 MaaS 平台部分企业客户开放服务。
IT之家附模型链接如下：
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
