网易首页 > 网易号 > 正文 申请入驻

智谱GLM-5.1高速版AI模型发布,全球最快速度400 tokens/s

0
分享至

IT之家 5 月 22 日消息,智谱今日宣布面向部分企业客户提供 GLM-5.1 高速版 API“GLM-5.1-highspeed”。

该模型输出速度达到 400 tokens/s,刷新当前全球大模型厂商 API 的速度上限。


更重要的是,在过去,“快”往往意味着“小”,高速模型几乎总是轻量级模型。GLM-5.1 高速版打破了这一行业惯例,首次在国产大模型中,将旗舰级能力与低延迟同时带入生产环境。

GLM-5.1 高速版 API“GLM-5.1-highspeed”由智谱 GLM 团队与 TileRT 团队联合打造,在推理引擎、调度系统与底层基础设施三个层面进行了系统级优化:

  • 推理引擎层:针对 GLM-5.1 的架构特点,重写了核心推理路径,提升了单卡吞吐能力;
  • 调度系统层:通过动态批处理、请求合并和 KV 缓存调度优化,降低高并发场景下的尾延迟;
  • 基础设施层:围绕推理集群部署、网络链路、负载均衡进行协同优化,确保 400 TPS 不是一个“峰值”数字,而是稳定可用的生产级能力。

模型推理速度的理论上限由硬件决定,但真实系统通常距离物理极限仍存在巨大差距。核心问题在于推理框架的调度方式。当前主流框架仍以 operator / kernel 作为基本调度单元,每个算子都要经历“host 启动 → 读权重 → 计算 → 写回 → 同步”的严格完整链路。当推理进入单 token、小 batch、多卡 TP 的场景后,算子被切到微秒级,原本可忽略的调度、访存与同步开销会被迅速放大。

TileRT 的设计思路,是彻底抛弃 Runtime 层的动态调度,在编译期(AOT)将整个计算图静态编排为一个常驻 GPU 的 persistent Engine Kernel。

  • 在单卡之内,计算、异步 IO 与通信被全部拆解为 Tile 级微任务,整个推理过程只 Launch 一次 Engine Kernel,算子间的中间结果不再写回 Global Memory,而是经由 Register、Shared Memory 与 L2 Cache 直传,host 调度与跨算子同步被悉数压进同一个常驻 kernel。
  • 在多卡尺度上,TileRT 进一步将 SM 内部的 Warp Specialization 思路外推到整张 8 卡 NVL 拓扑。不同 GPU rank 不再执行同构逻辑,而是按计算密度与数据依赖被特化为不同 worker。

GLM-5.1 高速版适用于 AI 编程、实时交互、商业决策、实时语音等对响应延迟要求高的场景,现已面向智谱 MaaS 平台部分企业客户开放服务。

IT之家附模型链接如下:

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
流亡的阿萨德一家何去何从?俄罗斯近日表明了明确态度:即便法院判了死刑,阿萨德也休想离开俄罗斯

流亡的阿萨德一家何去何从?俄罗斯近日表明了明确态度:即便法院判了死刑,阿萨德也休想离开俄罗斯

人生录
2026-10-22 00:20:08
钱再多有什么用?被送进急救的于和伟,给所有男明星提了个醒

钱再多有什么用?被送进急救的于和伟,给所有男明星提了个醒

云舟史策
2026-11-19 07:13:32
香港名媛私人合照外泄,婚变传出三个月,发律师信要求老公交代情况

香港名媛私人合照外泄,婚变传出三个月,发律师信要求老公交代情况

粤睇先生
2026-11-20 23:36:08
欧国联淘汰赛抽签:西班牙VS法国!世界杯半决赛重演 葡萄牙战荷兰

欧国联淘汰赛抽签:西班牙VS法国!世界杯半决赛重演 葡萄牙战荷兰

念洲
2026-11-20 19:32:12
等不到2028大选了?莎拉阵营甩“重磅”炸弹,弹劾案已到生死关头

等不到2028大选了?莎拉阵营甩“重磅”炸弹,弹劾案已到生死关头

云上乌托邦
2026-11-21 00:10:04
男篮世预赛终极大名单出炉!郭士强的天塌了:第一后卫落选?

男篮世预赛终极大名单出炉!郭士强的天塌了:第一后卫落选?

篮球快餐车
2026-11-20 07:06:12
百年难遇!中美俄共同警告非洲卢旺达,作为中国徒弟实在太能打了

百年难遇!中美俄共同警告非洲卢旺达,作为中国徒弟实在太能打了

云上乌托邦
2026-11-11 13:41:46
满仓满融死扛存储的大佬,归零了!

满仓满融死扛存储的大佬,归零了!

大财可富司机
2026-11-20 13:55:47
白宫发布特朗普访华视频,中国仪仗队再次出圈,特朗普曾多次大赞“叹为观止”

白宫发布特朗普访华视频,中国仪仗队再次出圈,特朗普曾多次大赞“叹为观止”

极目新闻
2026-11-19 09:25:11
郎平接受鲁豫专访,自曝颈椎、髋关节、膝关节全都换了;现在是钓鱼高手,从不“空军”;盛赞在《夺冠》中演郎平的巩俐“演得非常像”

郎平接受鲁豫专访,自曝颈椎、髋关节、膝关节全都换了;现在是钓鱼高手,从不“空军”;盛赞在《夺冠》中演郎平的巩俐“演得非常像”

极目新闻
2026-11-20 19:43:20
特朗普高度评价中俄美元首会晤:满分10分,我打12分!其乘坐空军一号连续飞行超14小时回到美国,返美途中发文:这是一次伟大且意义深远的访问

特朗普高度评价中俄美元首会晤:满分10分,我打12分!其乘坐空军一号连续飞行超14小时回到美国,返美途中发文:这是一次伟大且意义深远的访问

每日经济新闻
2026-11-20 16:58:38
特朗普:亚洲行程繁忙,此次未能与金正恩会面,但我们的关系还在,总有一天会见

特朗普:亚洲行程繁忙,此次未能与金正恩会面,但我们的关系还在,总有一天会见

都市快报橙柿互动
2026-11-21 01:38:36
武汉商学院原党委书记刘志辉被“双开”

武汉商学院原党委书记刘志辉被“双开”

界面新闻
2026-11-20 14:35:34
绝境翻盘!卞相壹顶住重压逆转取胜,斩获三星杯桂冠,李钦诚随手战败

绝境翻盘!卞相壹顶住重压逆转取胜,斩获三星杯桂冠,李钦诚随手战败

L76号
2026-11-20 14:47:33
2年1326万美金!联盟第1!36岁神射手愈老愈妖

2年1326万美金!联盟第1!36岁神射手愈老愈妖

微评体育圈
2026-11-21 00:20:05
APEC全家福惊现"最不受欢迎的人",零会晤背后藏着什么?

APEC全家福惊现"最不受欢迎的人",零会晤背后藏着什么?

三周檀的鲲
2026-11-19 19:55:46
被骂9年“骗子”的贾跃亭,突然把英伟达OpenAI踩在脚下:0.8698分全球第一,是翻身还是换壳讲故事?

被骂9年“骗子”的贾跃亭,突然把英伟达OpenAI踩在脚下:0.8698分全球第一,是翻身还是换壳讲故事?

秋风妃
2026-11-18 21:50:07
《饥饿游戏》新片里的亚裔面孔,接下来要演漫威冰人

《饥饿游戏》新片里的亚裔面孔,接下来要演漫威冰人

浅遇时光
2026-11-20 00:24:35
“我是狼养大的”:唐斯回明尼苏达,一句话说尽9年

“我是狼养大的”:唐斯回明尼苏达,一句话说尽9年

绿茵狂热者
2026-11-21 01:53:42
0-5西班牙!U17国足创队史世界杯最大比分失利,恐难逃两连败

0-5西班牙!U17国足创队史世界杯最大比分失利,恐难逃两连败

念洲
2026-11-20 23:56:52
2026-11-21 02:31:00
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
380545文章数 607744关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

家居
教育
旅游
健康
公开课

家居要闻

2026建博会(广州) 公装联探展交流活动

教育要闻

全网点赞班主任!孩子三次不交作业,家长群内怒斥老师,老师公开致歉:“孩子将来好坏和我们无关”

旅游要闻

登大报恩塔找毕业设计灵感  “去看塔”青年共创营里长出文创新点子!

医生眼里"很伤腰"的椅子,很多人天天坐

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版