上海
分享至
品玩4月30日讯，据科创板日报报道，智谱今天凌晨发布技术博客，首次系统披露GLM-5系列模型在超大规模Coding Agent调用场景下的底层推理技术突破。
包括系统吞吐最高提升132%，相同硬件条件下服务能力的显著扩容。KV cache 修复方案（改进了模型在长对话中的记忆缓存机制，从而提升推理效率）获SGLang开源社区采纳。
此外，公司推理优化还在进一步加速，大幅提升单位算力token吞吐效率，降低推理成本。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
