河北
分享至
来源：市场资讯
（来源：澎湃新闻）
4月30日，澎湃新闻记者从智谱方面获悉，随着大模型应用从简单对话全面转向更复杂的、更长程的Coding Agent任务，推理基础设施迎来前所未有的压力，每天承受着数亿次Coding Agent调用。部分用户在使用GLM-5系列模型执行复杂Coding Agent任务时，遭遇多种异常：乱码、复读，以及偶现的生僻字。
在底层基础设施上，智谱实现重大工程进展，系统吞吐最高提升132%，相同硬件条件下服务能力的显著扩容。KV cache xxx修复方案获SGLang开源社区采纳，此外，公司推理优化还在进一步加速，大幅提升单位算力token吞吐效率，降低推理成本。（澎湃新闻记者 范佳来）
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
