5月28日,据优刻得-W(688158.SH)消息,优刻得与华中科技大学达成产学研合作,聚焦Agent场景下的大模型推理瓶颈,围绕KV Cache卸载与复用技术展开联合研究,共同探索面向下一代AI推理基础设施的系统级创新方案。
双方结合云基础设施、分布式存储与异构计算等领域能力,从“单请求长上下文推理”与“跨请求前缀复用”两个维度,共同推进多层级KV Cache卸载体系建设,为Agent推理服务提供更高效、更具扩展性的底层支撑。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.