北京
今日凌晨，智谱发布技术博客《Scaling Pain：超大规模Coding Agent推理实践》，首次系统披露GLM-5系列模型在超大规模Coding Agent调用场景下的底层推理技术突破。包括两个关键Bug的定位及修复、一项性能优化创新、以及一个意外的监控机制突破。
针对Context Parallel策略中的KV Cache冗余存储问题，智谱设计实现了KV Cache分层存储方案 LayerSplit —— 每张GPU仅持有部分层的KV Cache，通过广播机制完成协同计算。在Cache命中率90%条件下，40K至120K请求长度区间内，系统吞吐量提升10%至132%，且上下文越长收益越显著。这一优化直接大幅提升智谱在Coding场景下的服务能力上限。
智谱本次披露的工程突破具备明确的技术深度——团队不仅在自有推理链路中定位并修复了PD分离架构下的KV Cache跨节点复用竞态，更进一步在主流开源推理框架SGLang的源代码层面发现并修复了HiCache模块的加载时序缺失(read-before-ready)问题，修复方案被SGLang开源社区采纳，其底层基础设施能力不仅服务于自身模型，也正在成为大模型行业的公共基础设施之一。
智谱推理优化还在进一步加速，大幅提升单位算力token吞吐效率，降低推理成本。
本文来自和讯财经，更多精彩资讯请下载“和讯财经”APP
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
