北京
分享至
5月21日，澎湃新闻记者获悉，智谱联合驭驯网络与清华大学，在GLM-5.1线上生产集群中完成了新一代网络架构ZCube的规模化落地。
在线上GLM-5.1 coding场景中，在保持GPU算力、软件栈与应用不变的前提下，ZCube节省了33%交换机与光模块成本，同时将GPU平均推理吞吐提升了15%，并将TTFT P99降低了40.6%。
这意味着，同样的硬件投入，智谱的 GLM 大模型现在每秒能多响应 15% 的 API 请求。对于大模型 API 平台而言，这直接对应更高的并发上限以及在流量峰值下更稳定的用户体验。（澎湃新闻记者 范佳来）
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
